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Vehicle monitoring device, has extraction units that extract binary object and 
gray scale object based on change in luminance from gray scale image 
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Abstract of DE1 0301 468 

The device has an extraction unit that subjects a 
gray scale image captured by cameras (2R, 2L) 
to binary thresholding method and extracts a 
binary object from the image. Another extraction 
unit extracts a gray scale object from the image 
based on the change in luminance. A search 
area is set by a determination unit, which 
recognizes a pedestrian in gray scale image 
based on luminance dispersion in the area. 
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Priifungsantrag gem. § 44 PatG ist gestellt 

(5) Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs 

(57) Eine Vorrichtung zur Beobachtung der Umgebung ei- 
nes Fahrzeugs, die in der Lage ist, in der Umgebung des 

Fahrzeugs anwesende Objekte auf der Basis eines Bildes 

zu erfassen, das von zumindest einem an dem Fahrzeug 

vorgesehenen Inf ra rot ka me ra element aufgenommen 

wird. Die Vorrichtung umfasst eine binare Objekt-Extrakti- 

onseinheit, die ein Grauwertbild des von dem Infrarotka- 

meraelement aufgenommenen Bildes einem binaren 

Schwellenvergleichsverfahren unterzieht und ein binares 

Objekt aus dem Grauwertbild extrahiert; eine Grauwert- 

objekt-Extraktionseinheit, die ein Grauwertobjekt, wovon 

ein Bereich das binare Objekt enthalt, auf der Basis einer 

Leuchtdichteanderung des Grauwertbildes aus dem 

Grauwertbild extrahiert; und eine FuBganger-Bestim- 

mungseinheit, die einen Suchbereich in einem Bereich 
■ einstellt, der das Grauwertobjekt enthalt, und auf der Ba- 
, sis einer Leuchtdichteverteilung in dem Suchbereich ei- 
• nen FuBganger auf dem Grauwertbild erkennt. 
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Beschreibung 

HINTERGRUND DER ERFTNDUNG 

Gebiet der Erfindung 5 

[0001] Die vorliegende Erfindung betrifft Vorrichtungen 
zur Beobachtung der Umgebung eines Fahrzeugs. Insbeson- 
dere betrifft die vorliegende Erfindung eine Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs, bei welcher 10 
eine Ziel-Extraktion durchgefuhrt wird, indem ein von einer 
Infrarotkameravorrichtung aufgenommenes Bild einem bi- 
naren Schwellenvergleichsverfahren unterzogen wird. 

Beschreibung des Stan des der Tbchnik 15 

[0002] Es wurden Vorrichtungen zur Beobachtung der 
Umgebung von Fahrzeugen vorgeschlagen, bei denen Ob- 
jekte, die mit dem Fahrzeug kollidieren konnen, wie zum 
Beispiel FuBganger, aus einem mit einer Infrarotkamera auf- 20 
genommenes Umgebungsbild des Fahrzeugs extrahiert wer- 
den und eine solche Information an einen Fahrer des Fahr- 
zeugs ubermittelt wird. Bei diesen Vorrichtungen wird die 
Wahrscheinlichkeit, dass das Fahrzeug ein Objekt trifft, zum 
Beispiel einen FuBganger, auf der Basis der relativen Di- 25 
stanz zwischen dem Fahrzeug und dem Objekt und der rela- 
tiven Geschwindigkeit des Fahrzeugs berechnet. 
[0003] Ein Beispiel solcher Vorrichtungen zur Beobach- 
tung der Umgebung eines Fahrzeugs, die ein Objekt, das mit 
dem Fahrzeug kollidieren kann, aus einem mit einer Infra- 30 
rotkamera aufgenommenen Umgebungsbild eines Fahr- 
zeugs extrahieren, ist wie folgt. Das heiBt, in der Vorrich- 
tung wird das aufgenommene Infrarotbild einem binaren (2- 
Ebenen)-Schwellenvergleichsverfahren (engl. thresholding) 
unterzogen, und es wird nach einem Bereich gesucht, in dem 35 
helle (weiBe) Anteile konzentriert sind. Dann wird unter 
Verwendung des Seitenverhaltnisses (Verhaltnis von Lange 
zu Breite) und der Vollstandigkeitsrate des Bereichs und 
weiterhin durch eine Berechnung der Distanz zwischen dem 
Fahrzeug und dem Bereich unter Verwendung des tatsachli- 40 
chen Oberflachenbereichs und der Schwerpunktposition auf 
dem Bild bestimmt, ob der Bereich ein Kopfteil eines FuB- 
gangers ist. Wenn der Kopfteilbereich eines FuBgangers be- 
stimmt wurde, wird ein den Korper des FuBgangers bilden- 
der Bereich durch Berechnen der Hohe/GroBe des FuBgan- 45 
gers auf dem Bild auf der Basis der Distanz zwischen dem 
als Kopfteil bestimmten Bereich und der Kamera und der 
durchschnittlichen GroBe eines Erwachsenen bestimmt. 
Diese Bereiche werden so angezeigt, dass sie von anderen 
Bildregionen unterschieden werden. Auf diese Weise wird 50 
die Position des gesamten Korpers des FuBgangers auf dem 
Infrarotbild bestimmt, und diese Information wird fur den 
Fahrer angezeigt, um die Sicht des Fahrers wirksam zu un- 
terstutzen (siehe z. B. die ungepriifte japan ische Patentan- 
meldung, Erstveroffendichung Nr. Hei 1 1-328364). 55 
[0004] Bei Anwendung des Schwellenvergleichsverfah- 
rens konnen jedoch nur der Kopfteil, ein Teil des Kopfleils 
oder der gesamte Korper oder nur eine obere oder untere 
Korperhalfte eines FuBgangers aus einem Infrarotbild extra- 
hiert werden, abhangig von den Wirkungen eines Huts oder 60 
der Kleidung, die der FuBganger tragt, oder von der Umge- 
bung des FuBgangers, weshalb die Gestalt des FuBgangers, 
die man durch das bin are Schwellenvergleichsverfahren er- 
halt, uneindeutig wird. Auch wird, wenn ein Fahrzeug fahrt, 
die GroBe eines FuBgangers, vom Kind bis zum Erwachse- 65 
nen, unter dem Einfluss des Verlaufs einer vorausliegenden 
StraBe oder durch das Uberfahren von Schlaglochem allge- 
mein von dessen tatsachlicher GroBe abweichend erfasst. 



[0005] Da die baryzentrischen Koordinaten (Schwer- 
punktskoordinaten) von Zielobjekten wie beispielsweise 
FuBgangem hinsichtlich der Distanz auf dem Bild nicht fi- 
xiert werden konnen, besteht eine Moglichkeit, dass die 
FuBganger nicht stabil extrahiert werden konnen, wenn die 
Extraktion nur auf der Basis der Gestalt der FuBganger vor- 
genommen wird, wie bei der vorstehend genannten konven- 
tionellen Vorrichtung. 

[0006] Es gibt auch andere Arten konventioneller Vbrrich- 
tungen, bei denen Bereiche hoher Temperatur auf einem 
Umgebungsbild des Fahrzeugs, das von einer linken und ei- 
ner rechten Kamera eines Stereokamerapaares aufgenom- 
men wird, als Objekte erkannt werden, und bei denen die 
Distanz zwischen dem Fahrzeug und den Objekten durch 
Ermitteln der Parallaxe der Objekte berechnet wird, so dass 
Zielobjekte, die den Kurs des Fahrzeugs kreuzen konnten, 
auf der Basis einer Bewegungsrichtung und einer Position 
der Objekte erfasst werden konnen und ein Alarm ausgelost 
werden kann (siehe z. B. die ungepriifte japanische Paten t- 
anmeldung, Erstveroffentlichung Nr. 2001-6096). 
[0007] Wenn, wie oben erwahnt, die Extraktion unter An- 
wendung des Schwellenvergleichsverfahrens nur auf der 
Basis der Form/Gestalt des Objekts durchgefuhrt wird, wie 
bei der vorgenannten konventionellen Vorrichtung, so wird 
die Form/Gestalt des Zielobjekts wegen des Einflusses eines 
Huts oder der Kleidung, die das Zielobjekt (d. h. ein FuB- 
ganger etc.) tragt, und der Umgebung des FuBgangers unbe- 
stimmt. Auch wird, wenn ein Fahrzeug fahrt, die GroBe ei- 
nes FuBgangers wegen des Einflusses des Verlaufs der vor- 
ausliegenden StraBe oder wegen des Oberfahrens von 
Schlaglochem allgemein von dessen tatsachlicher GroBe ab- 
weichend erfasst. Demzufolge ist es schwierig, die Extrak- 
tion nur von FuBgangem stabil durchzufuhren. 
[0008] Aus den oben genannten Griinden wurden Verfah- 
ren vorgeschlagen, bei denen nur Objekte, die wahrschein- 
lich FuBganger sind, extrahiert werden, indem die GroBe der 
Objekte im wirklichen Raum basierend auf einem Grau- 
wertbild berechnet und das Positionsverhaltnis der Objekte, 
deren Abbildungen einem Schwellenvergleichsverfahren 
unterzogen wurden, bestimmt wird, oder bei denen Struktu- 
ren/Gebilde auf der StraBe und Fahrzeuge aus dem Schwel- 
lenvergleichsverfahren unterzogenen Objekten extrahiert 
werden und als andere Objekte als FuBganger erkannt wer- 
den, um so aus den Objekten, die einen Alarm erfordern, 
ausgesondert zu werden. Bei Anwendung der vorgenannten 
Verfahren besteht aber das Problem, dass die Extraktion von 
FuBgangem nicht stabil durchgefuhrt werden kann, wenn 
ein Fahrzeug zum Beispiel im Regen fahrt, da Objekte durch 
den Regen beeintrachtigt werden und die Menge an Infrarot- 
strahlen geandert wird. 

[0009] Das heiBt, in einer typischen Umgebung wird es 
schwierig, warmehaltende Objekte mittels einer Infrarotka- 
mera zu erfassen (d. h. sie neigen dazu, auf einem Infrarot- 
bild nicht zu erscheinen), da die lemperatur von warmehal- 
tenden Objekten, die nicht selbst Warme erzeugen, sondem 
von auBen aufgebrachte Warme halten, wie z. B. Hinweis- 
schilder, Wande und Telegraphenmasten, wegen des Regens 
abnimmt. Obwohl warmeerzeugende Objekte, die selbst 
Warme erzeugen, wie zum Beispiel Verkaufsautomaten, un- 
ter Verwendung einer Infrarotkamera erfassbar sind, neh- 
men die Bereiche, die Infrarotstrahlen aussenden und erfasst 
werden konnen, im Regen ab, und es besteht eine Tendenz 
zu einer erschwerten genauen Bestimmung ihrer Form/Ge- 
stalt. 

[0010] Wenngleich exponierte Teile (z. B. der Kopf) eines 
FuBgangers erfasst werden konnen, so konnen Tbile von 
ihm, die mit Kleidung bedeckt sind, unter Verwendung einer 
Infrarotkamera moglicherweise nicht erfasst werden, je 
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nachdera, wie feucht die Kleidung ist. Das heiBt, dass je 
nach Wetter die Situation an derselben Stelle der Umgebung 
eines Fahrzeugs differieren kann und dass die Form/Gestalt 
aller Objekte auf einem von einer Infrarotkamera erfassten 
Grauwertbild variiert. Demzufolge besteht bei den her- 5 
kommlichen Verfahren eine Gefahr, dass die Extraktion nur 
von FuBgangem aus dem Bild nicht stabil durchgefiihrt wer- 
den kann. 

[0011] Daruber hinaus besteht bei Regen eine Tendenz, 
dass die Form/Gestalt von Objekten auf dem Bild unbe- 10 
stimmt wind, da Regentropfen an der LinsenAache einer Ka- 
mera haften, was die Bestimmung der Form/Gestalt der Ob- 
jekte noch mehr erschwert. 

ZUSAMMENFASSUNG DER ERFINDUNG 15 

[0012] Unter Berucksichtigung der vorstehend genannten 
Umstande ist es eine Aufgabe der vorliegenden Erfindung, 
eine Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs zur Verfugung zu stellen, bei der undeutliche Bil- 20 
der/Abbildungen von Objekten, die man erhalt, indem diese 
einem binaren Schwellenvergleichsverfahren unterzogen 
werden, und die aus einem von einer Kamera aufgenomme- 
nen Bild extrahiert werden, genau bestimmt werden, um 
eine stabile Extraktion von Zielobjekten wie zum Beispiel 25 
FuBgangem durchzufiihren. Weitere Aufgaben und Merk- 
male der Erfindung ergeben sich aus deren nachfolgender 
Beschreibung unter Bezugnahme auf die anliegenden Zeich- 
nungen. 

[0013] Zur Losung der oben genannten Aufgaben stellt 30 
die vorliegende Erfindung eine Vorrichtung zur Beobach- 
tung der Umgebung eines Fahrzeugs bereit, die in der Um- 
gebung des Fahrzeugs anwesende Objekte auf der Basis ei- 
nes Bildes erfassen kann, das von zumindest einem an dem 
Fahrzeug vorgesehenen Infrarotkameraelement eingefangen 35 
wird, wobei die Vorrichtung eine Binarobjekt-Extraktions- 
einheit (z. B. die in den nachstehend beschriebenen Ausfuh- 
rungsformen der vorliegenden Erfindung erlauterten 
Schritte S1-S13) aurweist, die ein Grauwertbild des von 
dem Infrarotkameraelement aufgenommenen Bildes einem 40 
binaren Schwellenvergleichsverfahren unterzieht und ein 
Binarobjekt aus dem Grauwertbild extrahiert; eine Grau- 
wertobjekt-Extraktionseinheit (z. B. die in den nachstehend 
beschriebenen Ausfuhrungsformen der Erfindung erlauter- 
ten Schritte S41-S42), die ein Grauwertobjekt, dessen Span- 45 
ne/Bereich das Binarobjekt en thai t, auf der Basis einer An- 
derung der Luminanz/Leuchtdichte des Grauwertbilds aus 
dem Grauwertbild extrahiert; und eine FuBganger-Bestim- 
mungseinheit (z. B. die in den nachstehend beschriebenen 
Ausfuhrungsformen der Erfindung erlauterten Schritte 50 
S43-S80), die einen Suchbereich (z. B. in den nachstehend 
beschriebenen Ausfuhrungsformen der Erfindung erlauterte 
Maskenbereiche AREA1, AREA2 und AREA3) in einem 
das Grauwertobjekt enthaltenden Bereich (z. B. AREAO, 
wie in den nachstehend beschriebenen Ausfuhrungsformen 55 
der Erfindung erlautert) einstellt und auf der Basis einer 
Leuchtdichteverteilung in dem Suchbereich einen FuBgan- 
ger auf dem Grauwertbild erkennt. 

[0014] GemaB der vorstehend beschriebenen Vorrichtung 
zur Beobachtung der Umgebung eines Fahrzeugs wird die 60 
Position des Binarobjekts auf dem Grauwertbild durch die 
Binarobjekt-Extraktionseinheit erkannt. Es wird moglich, 
durch Einstellen eines Grauwertobjekts, dessen Bereich das 
Binarobjekt enthalt, mittels der Grauwertobjekt-Extrakti- 
onseinheit und durch das Berechnen der Leuchtdichtevertei- 65 
lung in jedem in dem Grauwertobjekt festgelegten Suchbe- 
reich mittels der FuBganger-Bestimmungseinheit auf der 
Basis der Charakteristiken der Leuchtdichteverteilung in 
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dem Suchbereich zu bestimmen, ob das Binarobjekt ein 
FuBganger ist oder nicht. Dem gemaB lasst sich die Genau- 
igkeit bei der Erfassung eines FuBgangers verbessem, in- 
dem Bilder von Objekten, deren Leuchtdichteverteilung 
sich von jener eines Bildes eines FuBgangers unterscheidet, 
aus dem aufgenommenen Bild entfemt werden. 
[0015] In Ubereinstimmung mit einem weiteren Aspekt 
der Erfindung stellt die FuBganger-Bestimmungseinheit bei 
obenstehender Vorrichtung zur Beobachtung der Umgebung 
eines Fahrzeugs den Suchbereich in der Weise ein, dass eine 
GroBe in einer transversalen Richtung des Suchbereichs mit 
einer Breite des binaren Objekts iibereinstimmt und dass 
eine GroBe in einer Langsrichtung des Suchbereichs mit ei- 
ner Hone des binaren Objekts iibereinstimmt. 
[0016] GemaB der oben beschriebenen Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs wird es mog- 
lich zu bestimmen, ob das binare Objekt ein FuBganger ist 
oder nicht, indem die Breite des Suchbereichs auf einem 
Grauwertbild, von dem die Leuchtdichteverteilung ermittelt 
wird, an die Breite des binaren Objekts angepasst wird, so 
dass die Breite des Suchbereichs zu einer fiir die Erkennung 
eines FuBgangers geeigneten GroBe wird. Dem gemaB kann 
die Genauigkeit bei der Erfassung eines FuBgangers da- 
durch verbessert werden, dass Objekte, die Leuchtdichtever- 
tei lungscharakteristiken haben, die jenen von FuBgangem 
auf dem Bild ahnlich sind, wie zum Beispiel eine Wand, aus 
dem die Objekte enthaltenden Bild entfemt werden. 
[0017] In Ubereinstimmung mit einem noch weiteren 
Aspekt der Erfindung stellt die FuBganger-Bestimmungs- 
einheit bei der oben genannten Vorrichtung zur Beobach- 
tung der Umgebung eines Fahrzeugs auf der Basis eines 
oberen Endes des Grauwertobjekts als Suchbereich einen 
Kopfteilbereich ein, dessen GroBe einer GroBe eines Kopf- 
teils eines FuBgangers entspricht. 

[0018] GemaB der vorstehend beschriebenen Vorrichtung 
zur Beobachtung der Umgebung eines Fahrzeugs wird es 
moglich zu bestimmen, ob das binare Objekt ein FuBganger 
ist oder nicht, indem die GroBe des Suchbereichs auf dem 
Grauwertbild, von dem die Leuchtdichteverteilung ermittelt 
wird, an eine fur die Erkennung eines Kopfteils eines FuB- 
gangers geeignete GroBe angepasst wird. Dementsprechend 
kann die Genauigkeit bei der Erfassung eines FuBgangers 
verbessert werden, indem Objekte aus dem Bild entfemt 
werden, die eine GroBe haben, die sich von der GroBe eines 
Kopfteils eines Menschen unterscheidet, die fur die Leucht- 
dichteverteilung auf der Abbildung eines FuBgangers cha- 
rakteristisch ist. 

[0019] In Ubereinstimmung mit einem noch weiteren 
Aspekt der Erfindung stellt die FuBganger-Bestimmungs- 
einheit bei der oben beschriebenen Vorrichtung zur Beob- 
achtung der Umgebung eines Fahrzeugs einen Kopfteilbe- 
reich, dessen GroBe einer GroBe eines Kopfteils eines FuB- 
gangers entspricht, auf der Basis eines oberen Endes des 
Grauwertobjekts und einen Korperteilbereich, dessen GroBe 
einem Korperteil eines FuBgangers entspricht und groBer ist 
als der Kopfteilbereich, unterhalb des Kopfteilbereichs als 
Suchbereich ein. 

[0020] GemaB der vorstehend beschriebenen Vorrichtung 
zur Beobachtung der Umgebung eines Fahrzeugs wird es 
m6glich zu bestimmen, ob das Binarobjekt ein FuBganger 
ist oder nicht, indem die Suchbereiche auf dem Grauwert- 
bild, von denen die Leuchtdichteverteilung ermittelt wird, 
d. h. der Suchbereich, dessen GroBe fur die Erkennung eines 
Kopfteils eines FuBgangers geeignet ist, und der Suchbe- 
reich, dessen GroBe fur die Erkennung eines Korperteils ei- 
nes FuBgangers geeignet ist, eingestellt werden. Dement- 
sprechend kann die Genauigkeit bei der Erfassung eines 
FuBgangers dadurch verbessert werden, dass Objekte mit 
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Leuchtdichteverteilungscharakteristiken, die denen von 
FuBgangem auf dem Bild ahnlich sind, wie zum Beispiel ein 
gewolbter Spiegel, aus dem die Objekte enthaltenden Bild 
entfernt werden. 

[0021] In Ubereinstimmung mit einem noch weiteren 5 
Aspekt der Erfindung ist die Vorrichtung zur Beobachtung 
der Umgebung eines Fahrzeugs eine Vorrichtung, die als 
eine Nachtsichtvorrichtung verwendet wird. 
[0022] Die vorliegende Erfindung stellt auch eine Vorrich- 
tung zur Beobachtung der Umgebung eines Fahrzeugs zur 10 
Verfugung, die in der Lage ist, um das Fahrzeug herum an- 
wesende Objekte auf der Basis eines Bildes, das von zumin- 
dest einem an dem Fahrzeug vorgesehenen Infrarotkamera- 
element aufgenommen wird, zu erkennen, wobei die Vor- 
richtung umfasst: eine Objekt-Extraktionseinheit (z. B. die 15 
in den nachstehend beschriebenen Ausfuhrungsformen der 
vorliegenden Erfindung erlauterten Schritte S 1-S 13), die In- 
frarotstrahlen abgebende Objekte aus dem Infrarotbild ex- 
trahiert; eine Extraktionseinheit fUr warmehaltende Objekte 
(z. B. die in den nachstehend beschriebenen Ausfuhrungs- 20 
formen der vorliegenden Erfindung erlauterten Schritte S45, 
S46, S47, S52, S53, S53-1, S60, S61 und S62), die warme- 
haltende Objekte, welche selbst keine Warme erzeugen, je- 
doch von aufien aufgebrachte Warme halten, aus den mittels 
der Objekt-Extraktionseinheit extrahierten Objekten extra- 25 
hiert; und eine FuBganger-Erkennungseinheit (z. B. die in 
den nachstehend beschriebenen Ausfuhrungsformen der 
vorliegenden Erfindung erlauterten Schritte S48-S50, 
S54-S59 und S63-S80), die einen FuBganger aus Objekten, 
die durch die Objekt-Extraktionseinheit extrahiert wurden, 30 
erkennt und warmehaltende Objekte, die durch die Extrakti- 
onseinheit fur warmehaltende Objekte extrahiert wurden, 
ausschlieBt. 

[0023] GemaB der oben beschriebenen Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs wird es mog- 35 
lich, lediglich anhand erfasster Objekte mit ahnlichen Cha- 
rakteristiken wie die eines FuBgangers, aus denen warme- 
haltende Objekte mit Charakteristiken, die sich von jenen ei- 
nes FuBgangers zwar unterscheiden, wegen des Einflusses 
der auBeren Umgebung etc. aber dennoch als ein FuBganger 40 
erkannt werden konnten, unter Verwendung der Extrakti- 
onseinheit fur warmehaftende Objekte ausgeschlossen wer- 
den, zu bestimmen, ob ein Objekt ein FuBganger ist oder 
nicht. Dements prechend kann die Genauigkeit bei der Erfas- 
sung eines FuBgangers verbessert werden, indem Objekte, 45 
die Warme (Infrarotstrahlen) abgeben, die jener eines FuB- 
gangers ahnlich ist, wie zum Beispiel eine von der Sonne be- 
strahlte Wand, auf der Basis der Charakteristiken der 
Leuchtdichteverteilung entfemt werden. 

[0024] Die vorliegende Erfindung stellt auch eine Vorrich- 50 
tung zur Beobachtung der Umgebung eines Fahrzeugs zur 
Verfugung, die in der Lage ist, auf der Basis eines Infrarot- 
bildes, das von zumindest einem an dem Fahrzeug vorgese- 
henen Infrarotkameraelement aufgenommen wird, um das 
Fahrzeug herum anwesende Objekte zu erfassen, wobei die 55 
Vorrichtung umfasst: eine Wetter-Erfassungseinheit (z. B. 
Schritt S41, der in den nachstehend beschriebenen Ausfuh- 
rungsformen der vorliegenden Erfindung erlautert ist), die 
das Wetter um das Fahrzeug herum erfasst; eine Objekt-Ex- 
traktionseinheit (z. B. die in den nachstehend beschriebenen 60 
Ausfuhrungsformen der vorliegenden Erfindung erlauterten 
Schritte S 1-S 13), die Infrarotstrahlen abgebende Objekte 
aus einem Infrarotbild extrahiert; eine Einheit zur Extrak- 
tion warmehaltender Objekte (z. B. die in den nachstehend 
beschriebenen Ausfuhrungsformen der vorliegenden Erfin- 65 
dung erlauterten Schritte S45, S46, S47, S52, S53, S53-1, 
S60, S61 und S62), die warmehaltende Objekte, welche 
nicht selbst Warme erzeugen, jedoch von auBen aufge- 



brachte Warme halten, aus den Objekten extrahiert, die 
durch die Objekt-Extraktionseinheit extrahiert wurden; und 
eine FuBganger-Erkennungseinheit (z. B. die in den nach- 
stehend beschriebenen Ausfuhrungsformen der vorliegen- 
den Erfindung erlauterten Schritte S48-S50, S54-S59 und 
S63-S80), die aus den durch die Objekt-Extraktionseinheit 
extrahierten Objekten einen FuBganger erkennt, wenn durch 
die Wetter-Erfassungseinheit bestimmt wird, dass es um das 
Fahrzeug herum regnet (wobei der Begriff Regen im Rah- 
men der Erfindung auch Wetter beinhalten kann, das den 
gleichen EfTekt wie Regen hat), wobei die FuBganger-Er- 
kennungseinheit, wenn durch die Wetter-Erfassungseinheit 
bestimmt wird, dass es um das Fahrzeug herum nicht regnet, 
unter den durch die Objekt-Extraktionseinheit extrahierten 
Objekten einen FuBganger erkennt, indem sie die durch die 
Einheit zur Extraktion warmehaltender Objekte extrahierten 
warmehaltenden Objekte ausschlieBt. 
[0025] GemaB der oben beschriebenen Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs erkennt die 
FuBganger-Erkennungseinheit, wenn durch die Wetter-Er- 
fassungseinheit bestimmt wird, dass es um das Fahrzeug 
herum regnet, FuBganger direkt aus den extrahierten Objek- 
ten, da der Betrag der Infrarotstrahlen, die von den mittels 
der Objekt-Extraktionseinheit extrahierten Objekten abge- 
geben werden, abnimmt. Wenn andererseits durch die Wet- 
ter-Erfassungseinheit bestimmt wird, dass es um das Fahr- 
zeug herum nicht regnet, wird es moglich, ein geeignetes 
FuBgangererkennungsverfahren in Obereinstimmung mit 
den Gegebenheiten in der Umgebung des Fahrzeugs durch 
Extrahieren der warmehaltenden Objekte unter Verwendung 
der Einheit zur Extraktion von warmehaltenden Objekten 
durchzufuhren, so dass die FuBganger-Erkennungseinheit 
unter den Objekten einen FuBganger erkennen kann, indem 
sie die warmehaftenden Objekte ausschlieBt, da der Unter- 
schied zwischen den warmehaltenden Objekten, die nicht 
selbst Warme erzeugen, sondern von auBen aufgebrachte 
Warme halten, und FuBgangern, die selbst Warme erzeugen, 
wegen der Infrarotstrahlen, die von den durch die Objekt- 
Extraktionseinheit extrahierten Objekten abgegeben wer- 
den, an der Leuchtdichteverteilung auf der Abbildung des 
Objekts sichtbar wird. 

[0026] Daher kann, wenn bestimmt wird, dass das Wetter 
um das Fahrzeug herum nicht Regen ist, die Genauigkeit bei 
der Erfassung eines FuBgangers verbessert werden, indem 
auf der Basis der Charakteristiken der Leuchtdichtevertei- 
lung Objekte entfernt werden, die Warme (Infrarotstrahlen) 
abgeben, die jener von einem FuBganger ahnlich ist, wie 
zum Beispiel eine von der Sonne bestrahlte Wand. Auch 
wird, wenn bestimmt wird, dass es um das Fahrzeug herum 
regnet, die Bestimmung auf der Basis der Leuchtdichtever- 
teilung nicht durchgefuhrt, so dass Fehler bei der Erfassung 
eines FuBgangers auf der Basis der Bestimmung unter An- 
wendung der Leuchtdichteverteilung vermieden werden 
konnen und die Genauigkeit bei der Erfassung eines FuB- 
gangers beibehalten werden kann. 

[0027] In Ubereinstimmung mit einem noch weiteren 
Aspekt der Erfindung umfasst die Vorrichtung zur Beobach- 
tung der Umgebung eines Fahrzeugs ferner eine Form/Ge- 
stalt-Bestimmungseinheit (z. B. die in den nachstehend be- 
schriebenen Ausfuhrungsformen der vorliegenden Erfin- 
dung beschriebenen Schritte S59 und S73), die die Form/ 
Gestalt von Objekten bestimmt, wobei die Form/Gestalt-Be- 
stimmungseinrichtung deaktiviert wird, wenn durch die 
Wetter-Erfassungseinheit festgestellt wird, dass es um das 
Fahrzeug herum regnet. 

[0028] GemaB der oben beschriebenen Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs wird das 
Form/Gestalt-Bestimmungsverfahren gestoppt, wenn durch 
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die Wetter- Erf as sungseinheit bestimmt wird, dass das Wet- 
ter in der Umgebung des Fahrzeugs Regen ist, so dass bei 
dem die FuBganger-Erkennungseinheit verwendenden Be- 
stimmungsverfahren Fehler aufgrund der undeutlichen Ge- 
stalt von Objekten, die durch an der Linsenfiache einer Ka- 
mera haftende Regentropfen verursacht wird, vermieden 
werden konnen. Dementsprechend kann, wenn bestimmt 
wird, dass es um das Fahrzeug herum regnet, die Genauig- 
keit der Erfassung eines FuBgangers verbessert werden, in- 
dem auf der Form/Gestalt der Objekte basierende Fehler bei 
der Erfassung eines FuBgangers vermieden werden. 

HGURENKURZBESCHREmUNG 

[0029] Einige der Merkmale und Vorteile der Erfindung 
wurden beschrieben und andere/weitere ergeben sich aus 
der nachfolgenden Detailbeschreibung und aus den anlie- 
genden Zeichnungen. Darin zeigt: 

[0030] Fig. 1 ein Blockdiagramm zur Darstellung der 
Struktur einer Vorrichtung zur Beobachtung der Umgebung 
eines Fahrzeugs gemaB einer Ausfuhrungsform der Erfln- 
dung; 

[0031] Fig. 2 ein Diagramm zur Darstellung der Positio- 
nen einer Infrarotstrahlenkamera, eines Sensors, eines Dis- 
play etc., die an einem Fahrzeug angebracht sind, gemaB der 
Ausfuhrungsform der vorliegenden Erfindung; 
[0032] Fig. 3 ein Flussdiagramm zur Darstellung einer 
Objekterfassungs- und Alarmierungsoperation der Vorrich- 
tung zur Beobachtung der Umgebung eines Fahrzeugs ge- 
maB der Ausfuhrungsform der vorliegenden Erfindung; 
[0033] Fig. 4A und 4B Diagramme, die ein durch die Ver- 
wendung einer Infrarotkamera erhaltenes Grauwertbild re- 
spektive ein binares Bild davon zeigen; 
[0034] Fig. 5 ein Flussdiagramm zur Erlauterung eines 
Alann-Bestimmungsverfahrens gemaB der Ausfuhrungs- 
form der vorliegenden Erfindung; 

[0035] Fig. 6 ein Diagramm, das Orte zeigt, an denen eine 
stattfindende Kollision eines Fahrzeugs wahrscheinlich ist; 
[0036] Fig. 7 ein Diagramm, das Bereiche und Sektionen 
vor einem Fahrzeug gemaB der Ausfuhrungsform der vorlie- 
genden Erfindung zeigt; 

[0037] Fig. 8 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfiih- 
rungsform vorliegender Erfindung; 

[0038] Fig. 9 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfuh- 
rungsform vorliegender Erfindung; 

[0039] Fig. 10 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfuh- 
rungsform vorliegender Erfindung; 

[0040] Fig. 1 1 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfuh- 
rungsform vorliegender Erfindung; 

[0041] Fig. 12 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfuh- 
rungsform vorliegender Erfindung; 

[0042] Fig. 13 ein Flussdiagramm zur Erlauterung eines 
FuBganger-Bestimmungsverfahrens gemaB der Ausfuh- 
rungsform vorliegender Erfindung; 

[0043] Fig. 14 ein Diagramm das Form/Gestaltmerkmals- 
werte eines binaren Objekts gemaB der Ausfuhrungsform 
der vorliegenden Erfindung zeigt; 

[0044] Fig. 15 ein Diagramm, das die Anordnung von 
Maskenbereichen gemaB der Ausfuhrungsform der vorlie- 
genden Erfindung zeigt; 

[0045] Fig. 16A-16C Diagramme zur Darstellung einer 
Leuchtdichteverteilung eines Maskenbereichs AREA 3 je- 
weils fur den Fall, in dem das Objekt ein Teil eines FuBgan- 



gers, ein Ganzes eines FuBgangers und eine Wand ist; 
[0046] Fig. 17A und 17B Diagramme zur Darstellung ei- 
nes Beispiels eines Grauwertbildes, das von einer \forrich- 
lung zur Beobachtung der Umgebung eines Fahrzeugs ge- 

5 maB der Ausfuhrungsform der vorliegenden Erfindung an 
einem schonen Tag (Fig. 17A) und an einem regnerischen 
Tag (Fig. 17B) aufgenommen wurde; 
[0047] Fig. 18 eine Graphik, die ein Histogramm des 
Grauwertbildes an einem schonen Tag im Vergleich zu je- 

10 nem an einem regnerischen Tag zeigt. 

DETAILBESCHREIBUNG DER ERFINDUNG 

[0048] Die vorstehend zusammengefasste und durch die 
is anliegenden Anspruche definierte Erfindung wird an hand 
der folgenden Detailbeschreibung, die im Zusammenhang 
mit den anliegenden Zeichnungen gelesen werden sollte, 
besser verstandlich. Die detaillierte Beschreibung besonders 
bevorzugter Ausfuhrungsformen, die nachstehend angege- 
20 ben sind, damit die Erfindung gebaut werden kann und da- 
mit besondere Implementierungen der Erfindung angewen- 
det werden konnen, soil die anliegenden Anspruche nicht 
einschranken, sonde rn lediglich als besonderes Beispiel da- 
fur dienen. 

25 [0049] Fig. 1 ist ein Blockdiagramm, das eine Konfigura- 
tion einer Vorrichtung zur Beobachtung der Umgebung ei- 
nes Fahrzeugs gemaB einer bevorzugten Ausfuhrungsform 
der vorliegenden Erfindung zeigt. 

[0050] In Fig. 1 bezeichnet Bezugsziffer 1 eine Bildverar- 

30 beitungseinheit, die eine zentrale Verarbeitungseinheit 
(CPU) enthalt, die die Vorrichtung zur Beobachtung der 
Umgebung eines Fahrzeugs gemaB der Ausfuhrungsform 
steuert. Mit der Bildverarbeitungseinheit 1 verbunden sind 
zwei Infrarotkameras 2R und 2L, die zur Erfassung von fer- 

35 nen Infrarotstrahlungen in der Lage sind, einen Gierraten- 
sensor 3, der die Gierrate des Fahrzeugs erfasst, einen Ge- 
schwindigkeitssensor 4, der die Fahrrate (Geschwindigkeit) 
des Fahrzeugs erfasst, und einen Brems sensor 5 zur Erfas- 
sung einer Bremsbetatigung. In dieser Konfiguration erfasst 

40 die Bildverarbeitungseinheit 1 FuBganger oder Here vor 
dem Fahrzeug auf der Basis eines Infrarot-Umgebungsbil- 
des des Fahrzeugs und von Signalen, die den Fahrzustand 
des Fahrzeugs angeben, und erzeugt einen Alarm, wenn be- 
stimmt wird, dass die Moglichkeit einer Kollision groB ist. 

45 [0051] Mit der Bildverarbeitungseinheit 1 sind auch ein 
Laufsprecher 6 zur Erzeugung eines akustischen Alarms 
und ein Bildanzeigegerat 7 verbunden, das von den Infrarot- 
kameras 2R und 2L aufgenommene Bilder anzeigt und den 
Fahrer eines Fahrzeugs Objekte erkennen lasst, die von dem 

50 Fahrzeug getroffen werden konnen. Das Bildanzeigegerat 7 
kann zum Beispiel eine mit einem Zahler kombinierte An- 
zeige aufweisen, die den Fahrzustand des Fahrzeugs anhand 
von Zahlen anzeigt, eine in der Konsole des Fahrzeugs vor- 
gesehene Navigationsanzeige und/oder ein Headup-Display 

55 (HUD) 7a zur Anzeige von Informationen an einer die Sicht 
des Fahrers nicht storenden Position an der Frontscheibe. 
[0052] Dariiber h in aus kann die Bildverarbeitungseinheit 
1 eine A/D-Umwandlungsschaltung aufweisen, die eingege- 
bene analoge Signale in digitale Signale umwandelt, einen 

60 Bildspeicher, der digitalisierte Bildsignale speichert, eine 
zentrale Verarbeitungseinheit (CPU), die verschiedene Ope- 
ration durchfuhrt, einen Speicher mit wahlfreiem Zugriff 
(RAM), der zum Speichern von Daten dient, die von der 
CPU bearbeitet werden, einen Nur-Lese-Speicher (ROM), 

65 der Programme, Tabellen, Kennf elder etc. speichert, mit de- 
nen die CPU arbeitet, und Ausgabeschaltungen, durch wel- 
che Ansteuersignale fur den Lautsprecher, Display-Signale 
fur das HUD 7a etc. ausgegebenen werden. Demzufolge 



DE 103 01 

9 

werden Signale, die jeweils von den Infrarotkameras 2R und 
2L, dem Gierratensensor 3, dem Geschwindigkeitssensor 4 
und dem Bremssensor 5 ausgegeben werden, in digitale Si- 
gnale umgewandelt und in die CPU eingegeben. 
[0053] Auch sind, wie in Fig. 2 gezeigt, die Infrarotkame- 5 
ras 2R und 2L an der Front eines Fahrzeugs 10 bezogen auf 
dessen Mitte in der Breitenrichtung in symmetrischen Posi- 
tionen angeordnet, so dass die optische Achse jeder der In- 
frarotkameras 2R und 2L parallel zur jeweils anderen ver- 
lauft und die Kameras 2R und 2L von der StraBenoberflache 10 
aus in gleicher Hone liegen. Es ist zu beachten, dass jede der 
Infrarotkameras 2R und 2L Charakteristiken aufweist, wo- 
nach der Pegel der Ausgangssignale mit zunehmender Tem- 
peratur eines Objekts hoher wird (d. h. die Luminanz/ 
Leuchtdichte zunimmt). is 
[0054] Des weiteren ist das Anzeigefeld des HUD 7a an 
einer Position der Windschutzscheibe des Fahrzeugs ange- 
ordnet, wo die Sicht des Farmers durch das Anzeigefeld 
nicht gestort wird. 

[0055] Als nachstes wird der Betrieb der Vorrichtung zur 20 
Beobachtung der Umgebung eines Fahrzeugs gemaB der 
Ausfuhrungsform der vorliegenden Erflndung unter Bezug- 
nahme auf die anliegenden Zeichnungen beschrieben. 
[0056] Fig. 3 ist ein Russdiagramm, das Operationen fur 
die Erfassung eines Zielobjekts wie beispielsweise eines 25 
FuBgangers und fur die Erzeugung eines Alarms darstellt, 
die in der Bildverarbeitungseinheit 1 der Vorrichtung zur 
Beobachtung der Umgebung eines Fahrzeugs gemaB der 
Ausfuhrungsform der vorliegenden Erflndung durchgefuhrt 
werden. 30 
[0057] Zuerst erhalt die Bildverarbeitungseinheit 1 ein In- 
frarotbild (Schritt SI), welches Ausgangssignale aus den In- 
frarotkameras 2R und 2L sind, unterzieht die Signale einem 
A/D-Umwandlungsprozess (Schritt S2) und speichert das 
erhaltene Grauwertbild in einem Bildspeicher (Schritt S3). 35 
Es zu beachten, dass in dieser Ausfuhrungsform das Bild der 
rechten Seite von der Infrarotkamera 2R und das Bild der 
linken Seite von der Infrarotkamera 2L erhalten wird. Da die 
horizontale Position desselben Objekts auf dem rechten Bild 
von jener auf dem linken Bild verschoben ist, wenn die Bil- 40 
der angezeigt werden, ist es moglich, die Distanz zu dem 
Zielobjekt auf der Basis der Verschiebung (Parallaxe) zu be- 
rechnen. 

[0058] Nachdem in Schritt S3 das Grauwertbild erhalten 
wurde, wird das von der Infrarotkamera 2R erhaltene rechte 45 
Bild als ein Referenzbild verwendet und seine Bildsignale 
einem binaren Schwellenvergleichsverfahren unterzogen, 
d. h, einem Verfahren, bei dem ein Bereich, dessen Leucht- 
dichte hoher als ein Schwellenwert ITH ist, so eingestellt 
wird, dass er "1" (weiB) ist, und ein Bereich, dessen Leucht- 50 
dichte niedriger als der Schwellenwert IHT ist, so eingestellt 
wird, dass er "0" (schwarz) ist (Schritt S4). 
[0059] Fig. 4A zeigt ein Grauwertbild, das durch die Ver- 
wendung der Infrarotkamera 2R erhalten wird, und ein in 
Fig. 4B gezeigtes Bild wird erhalten, indem das in Fig. 4a 55 
gezeigte Grauwertbild dem binaren Schwellenvergleichs- 
verfahren unterzogen wird. Es ist zu beachten, dass in Fig. 
4B in jedem der Rahmen P1-P4 enthaltene Objekte Zielob- 
jekte sind (im Folgenden auch als "Hochluminanzbereiche" 
bezeichnet), die in dem angezeigten Bild in weiB dargestellt 60 
sind. 

[0060] Nachdem dem Schwellenvergleichsverfahren un- 
terzogene Bilddaten von dem Infrarotbild erhalten wurden, 
wird ein Verfahren durchgefuhrt, in dem die erhaltenen 
Bilddaten in Lauflangendaten umgewandelt werden (Schritt 65 
S5). Zeilen, die durch Lauflangendaten ausgedrlickt werden, 
werden von Bereichen gebildet, die aufgrund des Schwel- 
lenvergleichsverfahrens auf Pixelebene weiB geworden 
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sind. Jede der Zeilen hat eine Breite von einem Pixel in der 
y-Richtung und hat eine der Lange des Pixel, das die Lauf- 
langendaten in der x-Richtung bildet, entsprechende Lange. 
[0061] Als nachstes werden Objekte in den in die Lauflan- 
gendaten umgewandelten Bilddaten markiert (Schritt S6), 
so dass ein Extraktionsverfahren fur die Objekte durchge- 
fuhrt werden kann (Schritt SI). Das heiBt, unter den als 
Lauflangendaten angegebenen Zeilen kann jeder der z. B. in 
Fig. 4B gezeigte n Hochluminanzbereiche P1-P4 als ein 
Zielobjekt (binares Zielobjekt) erkannt werden, indem eine 
Zeile, die in der y-Richtung von einem Bereich uberlagert 
wird, als Objekt angesehen wird. 

[0062] Nachdem die Extraktion der Zielobjekte abge- 
schlossen ist, werden der Schwerpunkt G, der Oberflachen- 
bereich S und das Seitenverhaltnis (Verhaltnis von Lange zu 
Breite) eines umschriebenen Vierecks berechnet (Schritt 
S8). 

[0063] In dieser Ausfuhrungsform wird der Oberflachen- 
bereich berechnet, indem die Lauflangendaten eines Objekts 
von Markierung A als (x [i], y [i], run [i], A) (i = 0, 1, 2, . . . 
N-l) angenommen werden und die Langen der Lauflangen- 
daten (run [i] -1) fur dasselbe Objekt (N Lauflangendaten) 
summiert werden. Auch die Koordinaten (xc, yc) des 
Schwerpunkts G des Objekts A werden berechnet, indem 
die Lange eines jeden Datenelements der Lauflangendaten 
(run [i] -1) mit der Koordinate x [i] oder y [i] eines jeden 
Datenelements der Lauflangendaten multipliziert wird und 
des weiteren fur jedes Objekt die resultierenden Werte mit- 
einander multipliziert werden und der erhaltene Wert durch 
den Oberflachenbereich S dividiert wird. 
[0064] Dariiber hinaus wird das Seitenverhaltnis als das 
Verhaltnis von Dy/Dx berechnet, wobei Dy die Lange des 
umschriebenen Vierecks fur das Objekt in der Langsrich- 
tung und Dx die Lange des umschriebenen Vierecks fur das- 
selbe Objekt in der Querrichtung ist. 
[0065] Es ist zu beachten, dass es notwendig ist, eins zu 
subtrahieren, um die tatsachliche Lange zu erhalten ( = run 
[i] -1), da die Lauflangendaten als eine Pixelzahl (eine Ko- 
ordinatenzahl) ( = run [i]) angegeben werden. Es ist auch 
moglich, die Position des Schwerpunkts des umschriebenen 
Vierecks durch die Position des Schwerpunkts G zu erset- 
zen. 

[0066] Nach dem Schwerpunkt werden der Oberflachen- 
bereich und das Seitenverhaltnis des umschriebenen Vier- 
ecks berechnet und es wird ein Verfahren fur die Verfolgung 
des Objekts in Relation zur Zeit durchgefuhrt, d. h. ein Ver- 
fahren, in dem dasselbe Objekt in jeder Abtastperiode er- 
kannt wird (Schritt S9). In dem zeitbezogenen Verfolgungs- 
verfahren werden Objekte A und B zu einer Zeit k extra- 
hiert, die durch Diskretisieren der analogen Zeit t zum Bei- 
spiel unter Verwendung der Abtastperiode erhalten wird, 
und es wird bestimmt, ob Objekte C und D, die zur Zeit (k + 
1) extrahiert werden, jeweils dieselben Objekte wie die Ob- 
jekte A und B sind. Dann, wenn bestimmt wurde, dass die 
Objekte A und B und die Objekte C und D dieselben Ob- 
jekte sind, werden die Markierungen der Objekte C und D 
jeweils in die Markierungen A und B geandert, um das Ver- 
folgung s verfahren bezogen auf die Zeit durchzufuhren. 
[0067] Auch werden die Positionskoordinaten eines jeden 
(Schwerpunkts) der dadurch erkannten Objekte als Zeitrei- 
hen-Positionsdaten in einem Speicher gespeichert und fur 
die nachfolgenden Operationen des Verfahrens verwendet. 
[0068] Zu beachten ist, dass die in den vorstehenden 
Schritten S4-S9 erlauterten Verfahren fur das binare Refe- 
renzbild (das rechte Bild in dieser Ausfuhrungsform) durch- 
gefuhrt werden. 

[0069] Dann werden die durch den Geschwindigkeitssen- 
sor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die 
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durch den Gierratensensor 3 erfasste Gierrate YR ausgele- 
sen, und der Drehwinkel/Einschlagwinkel 9r des Fahrzeugs 
10 wird berechnet, indem die Gierrate YR einer Zeitintegra- 
tion unterzogen wird (Schritt S10). 

[0070] Zum anderen wird ein Verfahren fur das Berechnen 5 
der Distanz z zwischen dem Zielobjekt und dem Fahrzeug 
10 (Schritte S11-S13) gleichzeilig mit dem Verfahren der 
Schritte S9 und S10 durchgefuhrt. Da dieses Verfahren fiir 
das Berechnen der Distanz z eine Zeitspanne benotigt, die 
langer ist als die in den Schritten S9 und S10 benotigte Zeit, io 
wird es unter Einraumung einer langeren Zeit als in den 
Schritten S9 und S10 (z. B. etwa dreimal so lange wie die 
fiir die Durchriihrung der Schritte S1-S10 benotigte Zeit) 
durchgefiihrt 

[0071] Zuerst wird eines der unter Verwendung der bina- 15 
ren Abbildung des Referenzbildes (rechtes Bild) verfolgten 
Objekte ausgewahlt, um ein Suchbild Rl (in dieser Ausfuh- 
rungsform wird der gesamte, von dem umschriebenen Vier- 
ecke umgebene Bereich als Suchbild betrachtet) aus dem 
rechten Bild zu extrahieren (Schritt Sll). 20 
[0072] Dann wird ein Suchbereich, von dem ein dem 
Suchbild Rl entsprechendes Bild (im Folgenden auch als 
ein "korrespondierendes Bild" bezeichnet) gesucht wird, auf 
dem linken Bild eingestellt und das korrespondierende Bild 
durch AusfUhren einer Korrelationsoperation extrahiert 25 
(Schritt SI 2). Insbesondere wird ein Suchbereich R2 auf 
dem linken Bild in tJbereinstimmung mit jeder Spitzenkoor- 
dinate des Suchbildes Rl eingestellt, und ein Leuchtdichte- 
difTerenz-Summierungswert C (a, b), der den Grad der Kor- 
relation mit dem Suchbild Rl innerhalb des Suchbereichs 30 
R2 zeigt, wird berechnet. Der Bereich, in dem der sum- 
mierte Wert C (a, b) minimal ist, wird als korrespondieren- 
des Bild extrahiert. Es ist zu beachten, dass die Korrelations- 
operation unter Verwendung des Grauwertbildes, nicht des 
binaren Bildes durchgefuhrt wird. 35 
[0073] Wenn fruhere Positionsdaten fur dasselbe Objekt 
vorhanden sind, wird ein Bereich R2a, der schmaler als der 
Suchbereich R2 ist, auf der Basis der fruheren Positionsda- 
ten als ein Suchbereich eingestellt. 

[0074] Da das Suchbild Rl und das korrespondierende 40 
Bild R4, das dem Suchbild Rl entspricht, in Schritt S12 je- 
weils auf dem Referenzbild (rechtes Bild) und auf dem lin- 
ken Bild extrahiert werden, erhalt man die Position des 
Schwerpunkts des Suchbildes Rl und die des korrespondie- 
renden Bildes R4 und den Parallaxengrad Ad (Pixelzahl) 45 
und es kann die Distanz z zwischen dem Fahrzeug 10 und 
dem Objekt unter Verwendung dieser Faktoren berechnet 
werden (in Schritt S 13). 

[0075] Nachdem die Berechnung des Drehwinkels 0r in 
Schritt S10 und die Berechnung der Distanz zwischen dem 50 
Objekt in Schritt S 1 3 abgeschlossen sind, werden die Koor- 
dinate (x, y) auf dem Bild und die Distanz z umgewandelt, 
um die Koordinate (X, Y, Z) des wirklichen Raumes (in 
Schritt S14) zu erhalten. 

[0076] In dieser Ausfuhrungsform wird die Koordinate 55 
(X, Y, Z) des wirklichen Raumes, wie in Fig. 2 dargestellt, 
mit dem Ursprung O definiert, der der Mittenposition der 
Anbringungspositionen fiir die Infrarotkameras 2R und 2L 
(der an dem Fahrzeug 10 festgelegten Position) entspricht. 
Die Koordinate auf dem Bild wird zum anderen so definiert, 60 
dass die hinsichtlich des Ursprungs, welcher die Mitte des 
Bildes ist, horizontale Richtung zu x und die vertikale Rich- 
tung zu y wird. 

[0077] Wenn die Koordinate in dem wirklichen Raum er- 
mittelt wird, wird ein Drehwinkel-Korrekturverfahren zum 65 
Korrigieren der Positionsverschiebung auf dem Bild, die 
durch das Wenden des Fahrzeugs 10 verursacht wind, durch- 
gefuhrt (in Schritt SI 5). Das heifit, wenn das Fahrzeug (der 
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Frontbereich des Fahrzeugs) 10 von der Zeit k bis (k + 1) in 
der linken Richtung in einem Winkel Or gedreht wird, ver- 
schiebt sich der Bereich des durch die Kameras erhaltenen 
Bildes um Ax in der x-Richtung, und diese Verschiebung 
wird in dem Drehwinkel-Korrekturverfahren korrigiert. 
[0078] In der folgenden Erlauterung ist zu beachten, dass 
die Koordinate nach dem Drehwinkel-Korrekturverfahren 
als (X, Y, Z) angegeben wird. 

[0079] Nachdem die Drehwinkelkorrektur fur die Koordi- 
nate des wirklichen Raums abgeschlossen ist, wird eine ei- 
nem Vektor der relativen Bewegung zwischen dem Objekt 
und dem Fahrzeug 10 entsprechende Approximationsgerade 
LMV von den dem Drehwinkel-Korrekturverfahren unter- 
zogenen N Positionsdaten des wirklichen Raumes (z. B. = N 
etwa 10), die innerhalb der Beobachtungsperiode von AT fur 
dasselbe Objekt erhalten werden, d. h. den Zeitreihen-Da- 
ten, erhalten. 

[0080] Dann werden die neueste Positionskoordinate P(0) 
= (X(0), Y(0), Z(0)) und die Positionskoordinate P(N-1) = 
(X(N-1), Y(N-1), Z(N-1)) vor der (N-l)-Abfrage (d. h. vor 
der Zeit LT) korrigiert, so dass sie auf der Approximations- 
geraden LMV liegen, und es werden die Positionskoordina- 
ten nach der Korrektur, Pv(0) = (Xv(0), Yv(0), Zv(0)) und 
Pv(N-l) = (Xv(N-l), Yv(N-l), Zv(N-l)) erhalten. 
[0081] Auf diese Weise kann der Vektor der relativen Be- 
wegung als ein auf Pv(0) gerichteter Vektor aus der Positi- 
onskoordinate Pv(N-l) (in Schritt SI 6) ermittelt werden. 
[0082] Wie vorstehend erlautert, wird es gemaB der Aus- 
fuhrungsform der vorliegenden Erfindung moglich, die 
Moglichkeit einer Kollision des Fahrzeugs mit einem Ob- 
jekt genauer und mit einem geringeren Fehlergrad bei der 
Positionserfassung zu schatzen, indem eine Approximati- 
onsgerade berechnet wird, die fur die Approximation einer 
relativen Bewegungsbahn des Objekts mit Bezug auf das 
Fahrzeug 10 basierend auf einer Mehrzahl (N) von Daten, 
die in der Beobachtungsperiode AT entnommen werden, 
verwendet wird. 

[0083] Nachdem der Vektor der relativen Bewegung in 
Schritt S16 ermittelt wurde, wird ein Alarm-Bestimmungs- 
verfahren, in dem die Moglichkeit einer Kollision mit dem 
erf ass ten Objekt bestimmt wird, durchgefuhrt (in Schritt 
SI 7). Das Alarm-Bestimmungs verfahren wird spater im De- 
tail beschrieben. 

[0084] Wenn in Schritt S17 bestimmt wird, dass keine 
Moglichkeit einer Kollision des Fahrzeugs 10 mit dem er- 
fassten Objekt gegeben ist (d. h. "NEEN" in Schritt S17), 
kehrt der Ablauf zu Schritt SI zuriick, um die oben genann- 
ten Verfahren zu wiederholen. 

[0085] Wenn bestimmt wird, dass eine Moglichkeit einer 
Kollision des Fahrzeugs 10 mit dem erfassten Objekt gege- 
ben ist (d. h. "JA" in Schritt S17), schreitet der Ablauf fort 
zu einem Alarmausgabe-Bestimmungsverfahren in Schritt 
S18. 

[0086] In Schritt S18 wird bestimmt, ob das Alarmaus- 
gabe-Bestimmungsverfahren durchgefuhrt werden, d. h. die 
Alarmausgabe erfolgen sollte, indem auf der Basis der Aus- 
gabe BR von dem B re ms sensor 5 bestimmt wird, ob der 
Fahrer des Fahrzeugs 10 eine Bremse betatigt (in Schritt 
SI 8). 

[0087] Wenn der Fahrer des Fahrzeugs 10 die Bremse be- 
tatigt, wind die durch die Bremsope ration erzeugte Be- 
schleunigung Gs (deren Verzogerungsrichtung als positiv 
betrachtet wird) berechnet. Ist die Beschleunigung Gs gro- 
8er als ein vorgegebener Schwellenwert GTH, wird be- 
stimmt, dass die Kollision durch die Betatigung der Bremse 
vermieden werden wird, und das Alarmausgabe-Bestim- 
mungsverfahren wird beendet(d. h. "NEIN" in Schritt S 18). 
Dann kehrt der Ablauf zuriick zu Schritt SI, um die vorste- 
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hend erlauterten Verfahren zu wiederholen. 
[0088] Auf diese Weise wird kein Alarm erzeugt, wenn 
eine angemessene Bremsoperation durchgefuhrt wird, so 
dass es vermieden werden kann, den Fahrer zu storen. 
[0089] Wenn die Beschleunigung Gs gleich oder kleiner S 
als der vorgegebene Schwellenwert ist oder wenn der Fahrer 
des Fahrzeugs 10 die Bremse nicht betatigt (d. h. "JA" in 
Schritt SI 8), fuhrt der Ablauf direkt weiter zu Schritt S19 
und lasst einen Alarm fur den Fahrer ertonen, indem zum 
Beispiel iiber den Lautsprecher 6 eine Sprachmitteilung er- 10 
folgt, dass die Moglichkeit, ein Objekt zu treffen, groB ist. 
Dariiber hinaus wird das durch die Infrarotkamera 2a erhal- 
tene Bild zum Beispiel an das Bildanzeigegerat 7 ausgege- 
ben, so dass das sich nahernde Objekt dem Fahrer des Fahr- 
zeugs 10 als ein hervorgehobenes Bild angezeigt werden is 
kann (in Schritt S20). 

[0090] Es ist zu beachten, dass der vorgegebene Schwel- 
lenwert GTH ein Wert ist, der die Bedingungen fiir das Stop- 
pen des Fahrzeugs 10 innerhalb einer Fahrdistanz, die kiir- 
zer als die Distanz Zv(0) zwischen dem Objekt und dem 20 
Fahrzeug 10 ist, erfiillt, wenn die Beschleunigung Gs wah- 
rend der Bremsoperation unverandert beibehalten wird. 
[0091] Es wurde der Vorgang fur die Erfassung des Ob- 
jekts und die Alarmierung des Fahrers in der Bildverarbei- 
tungseinheit 1 der Vorrichtung zur Beobachtung der Umge- 25 
bung eines Fahrzeugs gemaB der Austuhrungsform der vor- 
liegenden Erfindung beschrieben. Als nachstes folgt eine 
detaillierte Beschreibung des Alarm-Bestimmungsverfah- 
rens in Schritt S17 des in Fig. 3 dargestellten Flussdia- 
gramms unter Bezugnahme auf das Flussdiagramm in Fig. 30 
5. 

[0092] Fig. 5 ist ein Flussdiagramm, das den Ablauf des 
Alarm-Bestimmungsverfahrens gemaB der Ausfiihrungs- 
form der vorliegenden Erfindung zeigt. 

[0093] Das Alarm-Bestimmungsverfahren ist ein Verfah- 35 
ren, in dem die Moglichkeit einer Kollision des Fahrzeugs 
10 mit einem erfassten Objekt bestimmt wird auf der Basis 
des folgenden Kollisions-Besurnmungsverfahrens, eines 
Verfahrens zum Bestimmen, ob sich ein Objekt innerhalb ei- 
nes Annaherungs-Bestimmungsbereichs befindet, eines Ver- 40 
fahrens zur Bestimmung des Eintritts in eine Kollision, ei- 
nes Fufiganger-Bestimmungsverfahrens und eines Verfah- 
rens zum Bestimmen eines kunstlichen Gebildes/Kunstge- 
bildes. Dies wird unter Verwendung eines Beispiels be- 
schrieben, bei dem sich ein Objekt 20 mit einer Geschwin- 45 
digkeit Vp in einem Winkel von annahemd 90° zur Fahrt- 
richtung des Fahrzeugs 10 fortbewegt, wie in Fig. 6 gezeigt. 
[0094] In dem in Fig. 5 dargestellten Flussdiagramm fuhrt 
die Bildverarbeitungseinheit 1 zuerst das Kollisions-Be- 
stimmungs verfahren durch (in Schritt S31). Das Koltisions- 50 
Bestimmungs verfahren ist ein Verfahren, in dem, wenn sich 
das Objekt 20 dem Fahrzeug 10 in der Zeit AT aus der Di- 
stanz Zv(N-l) bis zur Distanz Zn(0) nahert, wie das in Fig. 
6 dargestellt ist, die relative Geschwindigkeit Vs bezogen 
auf das Fahrzeug 10 in der Richtung Z ermittelt wird, und es 55 
wird bestimmt, ob das Objekt von dem Fahrzeug 10 inner- 
halb einer Zeitspanne T getrofFen wird, unter der Annahme, 
dass das Objekt 20 und das Fahrzeug 10 sich weiter bewe- 
gen und dabei die relative Geschwindigkeit Vs und den Be- 
reich der Hone H beibehalten. Hier ist die Zeitspanne T vor- 60 
gesehen, so dass die Bestimmung der Moglichkeit einer 
Kollision mit der Zeitspanne T vor dem geschatzten Kollisi- 
onszeitpunkt gemacht werden kann. Dementsprechend ist 
die Zeitspanne T z. B. auf etwa 2 bis 5 Sekunden eingestellt. 
Auch die H<3he H ist eine vorgegebene Hone zum Definieren 65 
des Bereichs in der Hohenrichtung, und die Hdhe H kann so 
bemessen werden, dass sie zum Beispiel zweimal die Hohe 
des Fahrzeugs 10 betragt 



[0095] Wenn als nachstes in Schritt S3 1 die Moglichkeit 
einer Kollision zwischen dem Fahrzeug 10 und dem Objekt 
innerhalb der Zeitspanne T gegeben ist (d. h. " JA" in Schritt 

531) , fuhrt die Bildverarbeitungseinheit 1 das Verfahren 
durch, in welchem bestimmt wird, ob sich das Objekt in ei- 
nem Annaherungs-Bestimmungsbereich befindet (in Schritt 

532) , um die Zuverlassigkeit der Bestimmung noch weiter 
zu verbessern. Das Verfahren zum Bestimmen, ob sich das 
Objekt in einem Annaherungs-Bestimmungsbereich befin- 
det, ist ein Verfahren, in dem bestimmt wird, ob das Objekt 
in einem in Fig. 7 gezeigten Annaherungs-Bestimmungsbe- 
reich AR1 anwesend ist, wo die Moglichkeit einer Kollision 
mit dem Fahrzeug 10 extrem groB ist, wenn das Objekt dort 
verbieibt. Wie in Fig. 7 dargestellt ist, ist der Annaherungs- 
Bestimmungsbereich AR1 zusammen mit den Eintritts-Be- 
stimmungsbereichen AR2 und AR3 als ein Bereich inner- 
halb eines mittels der durchgezogenen Linie angegebenen 
Dreieckbereichs AR0 definiert, der einen Bereich zeigt, der 
unter Verwendung der Infrarotkameras 2R und 2L uber- 
wacht/beobachtet werden kann und der hinsichtlich derZl = 
Vs x T angebenden Linie naher zum Fahrzeug 10 liegt. Von 
den Bereichen AR1, AR2 und AR3 entspricht der Annahe- 
rungs-Bestimmungsbereich AR1 einem Bereich mit einer 
Breite von a + 28, wobei a die Breite des Fahrzeugs 10 und 
0 ein auf beiden Seiten der Breite a des Fahrzeugs 10 zuge- 
gebener Rand (z. B. etwa 50 bis 100 cm) ist, wie das in Fig. 
7 gezeigt ist. Es ist zu beachten, dass der Annaherungs-Be- 
stimmungsbereich AR1 auch die vorgegebene Hohe H hat. 
[0096] Wenn in Schritt S32 bestimmt wird, dass kein Ob- 
jekt in dem Annaherungs-Bestimmungsbereich AR1 anwe- 
send ist (d. h. "NEIN" in Schritt S32), fuhrt die Bildverar- 
beitungseinrichtung 1 das Verfahren zur Bestimmung des 
Kollisionseintritts durch, in dem bestimmt wird, ob eine 
Moglichkeit gegeben ist, dass ein Objekt den Annaherungs- 
Bestimmungsbereich AR1 betritt und von dem Fahrzeug 10 
getroffen wird (in Schritt S33). Wie in Fig. 7 gezeigt ist, ist 
in den Eintritts-Bestimmungsbereichen AR2 und AR3 der 
Absolutwert der X-Koordinate groBer als der des vorge- 
nannten Annaherungs-Bestimmungsbereichs AR1, und das 
KolUsionseintritt-Bestimmungsverfahren ist ein Verfahren, 
in dem bestimmt wird, ob sich ein in dem Bereich AR2 oder 
AR3 anwesendes Objekt bewegen und den Annaherungs- 
Bestimmungsbereich AR1 betreten und von dem Fahrzeug 
10 getrofFen werden kann. Es ist zu beachten, dass jeder der 
Eintritts-Bestimmungsbereiche AR2 und AR3 auch die vor- 
gegebene Hohe H hat. 

[0097] Wenn andererseits in Schritt S32 ein Objekt in dem 
Annaherungs-Bestimmungsbereich anwesend ist (d. h. "JA" 
in Schritt S32), fuhrt die Bildverarbeitungseinrichtung 1 das 
FuBganger-Bestimmungsverfahren durch, in dem bestimmt 
wind, ob eine Moglichkeit besteht, dass das Objekt ein FuB- 
g anger ist (in Schritt S34). Das FuBganger-Bestimmungs- 
verfahren wird spater im Detail beschrieben. 
[0098] Wenn in Schritt S34 bestimmt wird, dass eine 
Moglichkeit, dass das Objekt ein FuBganger ist, vorhanden 
ist (d. h. "JA" in Schritt 34), wird das Kunstgebilde-Bestim- 
mungsverfahren durchgefuhrt, in dem bestimmt wird, ob 
das Objekt ein FuBganger ist oder nicht (in Schritt S35), um 
die Zuverlassigkeit bei der Bestimmung zu erhohen. Das 
Kunstgebilde-Bestimmungsverfahren ist ein Verfahren, in 
dem bestimmt wird, dass das Objekt ein kunstliches Gebilde 
ist, wenn die folgenden Merkmale, die bei einem FuBganger 
nicht vorhanden sein konnen, auf dem Bild des Objekts er- 
fasst werden, und das Objekt aus den Objekten, die das Er- 
tonen eines Alarms erfordern, entfernt wird: 

(1) wenn das Bild des Objekts einen Bereich enthalt, 
der einen Rand mit einer geraden Linie zeigt; 
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(2) wenn eine Ecke des Bildes des Objekts recbtwink- 
lig ist; 

(3) wenn das Bild des Objekts mehrere Bereiche glei- 
cher Gestalt/Form aufweist, und 

(4) wenn das Bild des Objekts rait der Form/Gestalt 
friiher registrierter kunstlicher Objekte ubereinsummt. 

[0099] Wenn demzufolge in dem oben genannten Schritt 
S33 eine Moglichkeit gegebenen ist, dass ein Objekt den 
Annaherungs-Bestimmungsbereich betritt und mit dem 
Fahrzeug 10 kollidiert (d. h. "JA" in Schritt S33), und wenn 
das in Schritt S35 als moglicher FuBganger bestimmte Ob- 
jekt kein kunstliches Gebilde ist (d. h. "NEIN" in Schritt 
S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt 
S3 6, dass eine Moglichkeit einer Kollision zwischen dem 
Fahrzeug 10 und dem erfassten Objekt gegeben ist (d. h. das 
Objekt wird als ein Objekt betrachtet, das die Ausgabe eines 
Alarms notwendig macht), und der Ablauf fuhrt weiter zu 
Schritt S 18 (uber "JA" in Schritt 17), um ein Alarmausgabe- 
Bestimmungsverfahren durchzufuhren (in Schritt SI 8). 
[0100] Wenn dagegen bestimmt wird, dass keine Moglich- 
keit einer Kollision zwischen dem Fahrzeug 10 und dem 
Objekt innerhalb der Zeitspanne T in dem oben genannten 
Schritt S31 gegeben ist (d. h. "NEIN" in Schritt S31), oder 
wenn in Schritt S33 keine Moglichkeit gegeben ist, dass das 
Objekt den Annaherungs-Bestimmungsbereich betritt und 
mit dem Fahrzeug 10 kollidiert (d. h. "NEIN" in Schritt 
S33), oder wenn in Schritt S34 bestimmt wird, dass keine 
Moglichkeit gegeben ist, dass das Objekt ein FuBganger ist 
(d. h, "NELN" in Schritt S34), oder wenn das als moglicher 
FuBganger bestimmte Objekt in Schritt S35 ein kunstliches 
Gebilde ist (d. h. "JA" in Schritt S35), bestimmt die Bildver- 
arbeitungseinheit 1 in Schritt S37, dass keine Moglichkeit 
einer Kollision zwischen dem Fahrzeug 10 und dem Objekt 
gegeben ist (d. h. das Objekt ist kein Objekt, bei dem ein 
Alarm ertonen muss), und der Ablauf kehrt ttber "NEIN" in 
dem in Fig. 3 gezeigten Schritt S17 zuriick zu Schritt SI. 
Auf diese Weise wird der Ablauf fur der Erfassung und die 
Alarmausgabe fur Objekte wie beispielsweise FuBganger 
wiederholt. 

[0101] Als nachstes wird das FuBganger-Bestimmungs- 
verfahren in Schritt S34 des in Fig. 5 dargestellten Flussdia- 
gramms unter Bezugnahme auf die in den Fig. 8 bis 13 dar- 
gestellten Flussdiagramme im Detail erlautert. 
[0102] Die Fig. 8 bis 13 sind Flussdiagramme, die das 
FuBganger-Bestimmungsverfahren gemaB der Ausfuh- 
rungsform der vorliegenden Erfindung darsteilen. 
[0103] We in dem in Fig. 8 dargestellten Russdiagramm 
gezeigt ist, berechnet die Bildverarbeitungseinheit 1 Form/ 
Gestaltmerkmalswerte eines binaren Objekts (Schritt S41), 
die Charakteristiken in der Gestalt eines binaren Objekts im 
wirklichen Raum zeigen, auf der Basis des Schwerpunkts G 
(xc, yc) des in Schritt S8 in dem in Fig. 3 gezeigten Fluss- 
diagramm berechneten binaren Objekts (d. h. der Schwer- 
punkt G 100 des in Fig. 14 gezeigten binaren Objekts), des 
Oberflachenbereichs S (die Oberflache S101 des in Fig. 14 
gezeigten binaren Objekts), des Seitenverhaltnisses des um- 
schriebenen Vierecks fur das Objekt und der Distanz z zwi- 
schen dem Fahrzeug 10 und dem in Schritt S 13 berechneten 
Objekt zusatzlich zu der Hohe hb und der Breite wb des um- 
schriebenen Vierecks des in Fig. 14 gezeigten binaren Ob- 
jekts und den baryzentrischen Koordinaten (xb, yb) des um- 
schriebenen Vierecks (d. h. des Schwerpunkts 102 des in 
Fig. 14 gezeigten umschriebenen Vierecks). Es ist zu beach- 
ten, dass die Gestaltmerkmalswerte des binaren Objekts un- 
ter Verwendung der Lange D (m) einer Basislinie der Ka- 
mera, der Brennweite f (m) der Kamera, des Pixelabstands 
(m/pixel) und des unter Verwendung der Korrelationsanpas- 



sung des rechten und des linken Bildes berechneten Paralla- 
xenbetrags Ad (pixel) berechnet werden. 
[0104] Da die Rate zwischen dem umschriebenen Vereck 
und dem Oberflachenbereich S des Objekts angegeben wer- 
5 den kann als: 

Rate = S/(hb x wb) ... (1), 

kann insbesondere das Seitenverhaltnis (Asp) des umschrie- 
10 benen Vierecks, das das Verhaltnis der Lange zur Breite des 
umschriebenen Vierecks angibt, angegeben werden als: 

Asp = hb/wb . . . (2), 

15 und die Distanz z zwischen dem Fahrzeug 10 und dem Ob- 
jekt kann angegeben werden als: 

z=(fxD)/(Adxp) ...(3), 

20 die Breite AWb und die Hohe AHb des binaren Objekts im 
wirklichen Raum konnen berechnet werden als: 



25 



AWb = wb x z x p/f 

AHb = hb x z x p/f ... (4), 

die baryzentrischen Koordinaten (Xc, Yc, Zc) des binaren 
Objekts konnen berechnet werden als: 



Xc = xc x z x p/f 
30 Yc = ycxzxp/f 
Zc = z ...(5), 

die baryzentrischen Koordinaten (Xb, Yb, Zb) des um- 
schriebenen Vierecks fur das binare Objekt konnen berech- 
35 net werden als: 

Xb = xb x z x p/f 
Yb = yb x z x p/f 
Zb = z . . . (6), 



40 



und die Position skoordinaten (Xt, Yt, Zt) des oberen Endes 
des binaren Objekts konnen berechnet werden als: 



45 



Xt = xb x z x p/f 
Yt = ybxzxp/f- 
Zt = z ... (7). 



AHb/2 



[0105] Nachdem die Form/Gestaltmerkmalswerte fur das 
binare Objekt berechnet wurden, wird ein Wetter-Erf as- 

50 sungsverfahren durchgefuhrt, in welchem das Wetter in der 
Umgebung des Fahrzeugs 10 erfasst wird (Schritt S41-1). 
[0106] Das Wetter-Erfassungsverfahren ist ein Verfahren, 
in dem ein Leuchtdichte-Histogramm fur ein Grauwertbild, 
das z. B. durch die Verwendung der Infrarotkamera 2R er- 

55 halten wurde, erstellt wird und das Wetter in der Umgebung 
des Fahrzeugs 10 auf der Basis des Leuchtdichte-Histo- 
grarnms bestimmt wird. Insbesondere ist das Wetter-Erfas- 
sungsverfahren ein Verfahren zum Bestimmen, ob es in der 
Umgebung des Fahrzeugs 10 regnet. Da bezugnehmend auf 

60 die Fig. 17A und 17B insbesondere der Betrag an Infrarot- 
strahlen, die von einem Objekt abgegeben werden, wegen 
der durch den Regen verursachten Temperaturab n ah me dif- 
feriert und daher zwischen dem an einem nicht regnerischen 
Tag aufgenommenen Grauwertbild, wie in Fig. 17A gezeigt, 

65 und dem an einem regnerischen l^g aufgenommenen Grau- 
wertbild, wie in Fig. 17B gezeigt, Differenzen entstehen, 
werden durch die Berechnung des respektiven Leucht- 
dichte-Histogramms Ergebnisse erhalten, wie diese in einer 



DE 103 01 

17 

Graphik in Fig. 18 dargestellt sind. 

[0107] Fig. 18 zeigt die Graphik, in der das Histogramm 
des Grauwertbildes an einem nicht regnerischen Tag und das 
an einem regnerischen Tag verglichen werden. Wie in Fig. 
18 dargestellt ist, zeigt die Standardabweichung a des 5 
Leuchtdichte-Histogramms fur das gesamte Bild eine Ten- 
denz, sich an einem regnerischen Tag im Vergleich zu jener 
an einem nicht regnerischen Tag zu verringern (d. h. die Di- 
stanz zwischen 2 a wird gering). Wenn demzufolge die 
Standardabweichung a des Leuchtdichte-Histogramms fur 10 
das gesamte Bild geringer ist als der Schwellenwert TH von 
24, wird besummt, dass es in der Umgebung des Fahrzeugs 
10 regnet. 

[0108] Es ist zu bcachtcn, dass die Wetterbestimmung in 
der Umgebung des Fahrzeugs 10 auf der Basis des oben gc- 15 
nannten I^uchtriichtehistogramms eines Grauwertbildes 
nicht notwendig ist und dass es moglich ist, das Wetter in 
der Umgebung des Fahrzeugs 10 auf der Basis von Signalen 
eines an dem Fahrzeug 10 vorgesehenen Regensensors zum 
Nachweis von Regen oder von Signalen zur Steuerung der 20 
Betatigung eines Wischers zum Wischen der Regentropfen 
von der Windschutzscheibe (zum Beispiel die AN/AUS-Si- 
gnale des Scheiben wischers) zu bestimmen. 
[0109] Nachdem das Wetter in der Umgebung des Fahr- 
zeugs 10 in Schritt S41-1 bestimmt wurde, wird bestimmt, 25 
dass es in der Umgebung des Fahrzeugs 10 regnet oder dass 
es nicht regnet (in Schritt S41-2). 

[0110] Wenn in Schritt S41-2 bestimmt wird, dass es in 
der Umgebung des Fahrzeugs 10 nicht regnet (d. h. "NEIN" 
in Schritt 41-2), dann wird die Hone des Objekts auf dem 30 
Grauwertbild, das das in Schritt S7 extrahierte binare Objekt 
enthalt, unter Verwendung des in Schritt S3 in dem in Fig. 3 
gezeigten Flussdiagramm erhaltenen Grauwertbildes ermit- 
telt (Schritt S42). Die Hone des Objekts auf dem Grauwert- 
bild kann ermittelt werden, indem eine Mehrzahl von Mas- 35 
kenbereichen einer vorgegebenen GroBe von dem oberen 
Ende des umschriebenen Vierecks fur das binare Objekt ein- 
gestellt wird, ein Bereich extrahiert wird, der den Masken- 
bereich als einen Bereich fur das Grauwertobjekt enthalt, bei 
dem die Anderung der Leuchtdichte in dem Maskenbereich 40 
groB ist (d, h. der Maskenbereich enthalt das Objekt und das 
Hintergrundbild), der Grad der Korrelation zwischen den 
Maskenbereichen des rechten und des linken Bildes hoch ist 
(d. h. mehr als zwei Objekte sind in dem Maskenbereich 
nicht vorhanden) und die Distanz die gleiche ist wie das bi- 45 
nare Objekt (d. h. die gleiche Parallaxe), und die Hone (Pi- 
xel) (in der folgenden Formel (8) als "Height" angegeben) 
des Bereichs fur das Grauwertobjekt auf dem Bild berechnet 
wird, um die Hone AHg des Grauwertobjekts unter Verwen- 
dung der Formel (8) zu erhalten: 50 

AHg = z x Height x p/f ...(8) 

[0111] Auch werden, wie in Fig. 15 gezeigt, die Masken- 
bereiche AREA1, AREA2 und AREA3 in dem Bereich des 55 
Grauwertobjekts AREA0 auf dem Bild eingestellt, um den 
mitderen Leuchtdichtewert und die Anderung (Dispersion) 
der Leuchtdichte in jedem Maskenbereich zu berechnen 
(Schritt S43). Hier wird der mittlere Leuchtdichtewert von 
AREA1 als Ave_Al bezeichnet, und die Dispersion/Vertei- 60 
lung der Leuchtdichte von AREA2 und AREA3 wird je- 
weils als Ave_A2 und Ave_A3 bezeichnet. Es ist zu beach- 
ten, dass in dem folgenden Verfahren AREA1 fur die Be- 
stimmung bei einem vorhandenen Kopfteil des Objekts, 
AREA2 fur die Bestimmung bei einem vorhandenen Kor- 65 
perteil des Objekts und AREA3 fur die Bestimmung bei ei- 
ner Anderung der Form/Gestalt von dem Kopfteil in die un- 
tere Halfte des Korperteils verwendet wird. AREA3 wird 
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auch verwendet, wenn ein Teil eines Objekts, das ein war- 
mehaltendes Objekt ist, welches nicht selbst Warme er- 
zeugt, sondern von auBen aufgebrachte Warme speichert, 
wie zum Beispiel eine Wand, und das eine einfache Ande- 
rung der Leuchtdichte zeigt, durch das binare Verfahren ex- 
trahiert wird, um das Objekt von dem FuBganger zu unter- 
scheiden. Es ist zu beachten, dass Fig. 15 ein Diagramm fur 
die schematische Darstellung eines von einer Kamera aufge- 
nommenen FuBgangers ist. In Fig. 15 gibt der schattierte 
Bereich einen Teil des durch das binare Verfahren erfassten 
Objekts an, und die von den gestrichelten Linien umgebenen 
Bereiche geben Teile des Objekts an, dessen Gegenwart hin- 
sichtlich seines Hintergrunds durch das Grauwertbild besta- 
tigt werden kann, jedoch durch das binare Verfahren noch 
nicht erkennbar gemacht worden ist. Auch ist die GroBe ei- 
nes jeden Teils in Fig. 15 ein Beispiel fiir die GroBe des Teils 
im wirklichen Raum. 

[0112] Nachdem die Einstellungen in den Maskenberei- 
chen AREA1, AREA2 und AREA3 abgeschlossen sind, 
werden das Bestimmungsverfahren fur einen FuBganger auf 
der Basis der Form/Gestalt des binaren Objekts und das Be- 
stimmungsverfahren fur einen FuBganger unter Verwen- 
dung der Leuchtdichteverteilung in jedem Maskenbereich 
auf dem Grauwertbild durchgefuhrt. 

[0113] Die Bildverarbeitungseinheit 1 bestimmt zuerst, ob 
die Werte der Hone, Breite, mittleren Leuchtdichte, Leucht- 
dichteverteilung etc. des binaren Objekts in dem fur einen 
FuBganger passenden Bereich liegen. 
[0114] Da die zu erfassenden Objekte FuBganger sind, 
wird insbesondere bestimmt, ob der Schwellenwert TH der 
Breite AWb des binaren Objekts im Bereich von (1 < TH 
< 2), d. h. in dem fur die Breite eines FuBgangers passen- 
den Bereich liegt (in Schritt S44). 

[0115] Auch wird in Schritt S4 1-2, wenn das Wetter in der 
Umgebung des Fahrzeugs 10 als Regen bestimmt wird (d. b. 
"JA" in Schritt 41-2), die Berechnung der Hone des Objekts 
auf dem Grauwertbild in Schritt S42 oder die Einstellung 
der Maskenbereiche AREA1, AREA2 und AREA3 in 
Schritt S43 nicht durchgefuhrt, und der Ablauf fuhrt weiter 
zu Schritt S44. Da die zu erfassenden Objekte FuBganger 
sind, wird, wie vorstehend erwahnt, in Schritt S44 bestimmt, 
ob der Schwellenwert TH der Breite AWb des binaren Ob- 
jekts im Bereich von (1 < TH < 2) liegt 
[0116] Wenn in Schritt S44 bestimmt wird, dass der 
Schwellenwert TH der Breite AWb des binaren Objekts im 
Bereich von (1 < TH < 2) liegt (d. h. "JA" in Schritt S44), 
wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 
regnet oder nicht (in Schritt S44-1). 

[0117] Wird in Schritt S44-1 bestimmt, dass das Wetter in 
der Umgebung des Fahrzeugs 10 nicht Regen ist (d. h. 
"NEIN" in Schritt S44-1), wird bestimmt, ob die Hone AHb 
des binaren Objekts geringer ist als der Schwellenwert TH3, 
d. h. in dem fiir die Hohe/GroBe eines FuBgangers passen- 
den Bereich, und ob die Hone AHg des Grauwertbilds gerin- 
ger ist als der Schwellenwert TH4, d. h. in dem fur die Ho- 
he/GroBe eines FuBgangers passenden Bereich (in Schritt 
S45). 

[0118] Wenn andererseits in Schritt S44- 1 bestimmt wind, 
dass das in der Umgebung des Fahrzeugs 10 Regen ist (d. h. 
"JA" in Schritt 44-1), wird bestimmt, ob die Hone AHb des 
binaren Objekts geringer ist als der Schwellenwert TH3, 
d. h. in dem fur Hohe/GroBe eines FuBgangers passenden 
Bereich (in Schritt S45-1). 

[0119] Wenn in Schritt S45 bestimmt wird, dass die Hone 
AHb des Grauwertobjekts geringer ist als der Schwellenwert 
TH4 (d. h. "JA" in Schritt S45) oder wenn in Schritt S45-1 
bestimmt wird, dass die Hone AHb des binaren Objekts 
niedriger als der Schwellenwert TH3 ist (d. h. "JA" in 
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Schritt S45-1), wild in Schritt S46 bestimmt, ob die Hohen- 
position Yt des oberen Endes des Objekts ausgehend von 
der Oberflache der StraBe niedriger ist als der Schwellen- 
wert TH5, d. h. in dem fur die Hdhe/GroBe eines FuBgan- 
gers passenden Bereich. 5 
[0120] Wenn in Schritt S46 die Hohenposition Yt des obe- 
ren Endes des Objekts ausgehend von der Oberflache der 
StraBe niedriger ist als der Schwellenwert TH5 (d. h. " JA" in 
Schritt S46), wird bestimmt, ob es in der Umgebung des 
Fahrzeugs 10 regnet oder nicht (in Schritt S46- 1). 10 
[0121] Wird in Schritt S46-1 bestimmt, dass das Wetter in 
der Umgebung des Fahrzeugs 10 nicht Regen ist (d. h. 
"NEIN" in Schritt S46-1), wird bestimmt, ob die Leucht- 
dichteverteilung Var_A3 des Maskenbereichs AREA3 gro- 
Ber ist als der Schwellenwert TH6 (in Schritt S47). Dieses 15 
Verfahren wird mit Bezugnahme auf die Fig. 16A bis 16C 
erlautert, die die Leuchtdichteverteilung in dem Maskenbe- 
reich AREA3 fur den Fall zeigen, in dem das Objekt ein Teil 
oder das Ganze eines FuBgangers oder einer Wand ist. 
[0122] Wenn, wie in Fig. 16A gezeigt, durch das binare 20 
Verfahren unter Verwendung der Breite des Maskenbereichs 
AREA3 als die Breite des binaren Objekts nur ein Kopfteil 
eines FuBgangers extrahiert wird, entsteht eine Differenz im 
Leuchtdichtegrad zwischen dem Kopfteil und der unteren 
Halfte des Korperteils. Auch wird, wenn der gesamte K6r- 25 
per oder zumindest die obere Halfte eines FuBgangers unter 
Verwendung des binaren Schwellenvergleichsverfahrens 
extrahiert wird, wie in Fig. 16B gezeigt, die Differenz im 
Leuchtdichtegrad zwischen dem Korperteil des FuBgangers 
und dem Hintergrund verursacht. Andererseits ist, wie in 30 
Fig. 16C gezeigt, bei dem Objekt, bei dem der Temperatur- 
unterschied uber samdiche Tfeile der Objekte wie beispiels- 
weise eine Wand gering ist, die Differenz im Leuchtdichte- 
grad zwischen den durch das binare Verfahren extrahierten 
Teilen und den durch das binare Verfahren nicht extrahierten 35 
Teilen ebenso gering. Daruber hinaus wird das Objekt durch 
Abschnitte von Geraden wie in AREA3 gebildet. Aus die- 
sem Grund ist die Leuchtdichteverteilung Var_A3 in 
AREA3 bei einem FuBganger hoch und bei einem Objekt 
wie beispielsweise einer Wand gering. 40 
[0123] Dem gemaB wird in Schritt S47 bestimmt, ob das 
Objekt ein FuBganger ist, indem bestimmt wird, ob die 
Leuchtdichteverteilung Var_A3 des Maskenbereichs 
AREA3 groBer als der Schwellenwert TH6 ist. 
[0124] Wenn in Schritt S47 die Leuchtdichteverteilung 45 
Var_A3 des Maskenbereichs AREA3 groBer als der Schwel- 
lenwert TH6 ist (d. h. " JA" in Schritt S47), wird das FuBgan- 
ger- Bestimmungsverfahren auf der Basis der Anderung der 
Form/Gestalt des Objekts iiber die Zeit durchgefuhrt. 
[0125] Da das Objekt eine binare Abbildung eines FuB- 50 
ganger ist, gilt insbesondere, dass sich die Form/Gestalt der 
binaren Abbildung uber die Zeit nicht bedeutend andert. 
Aus diesem Grund wind bestimmt, ob die Differenz zwi- 
schen dem Maximal wert MaxJRate und dem Minimalwert 
Min_Rate der Rate, die das Verhaltnis des Oberflachenbe- 55 
reichs zwischen dem umschriebenen Viereck und der bina- 
ren Abbildung innerhalb einer bestimmten Zeitperiode an- 
gibt, geringer ist als der Schwellenwert TH7 (in Schritt 
S48). 

[0126] Wenn in Schritt S46-1 bestimmt wird, dass das 60 
Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. 
"JA" in Schritt S46-1), wird die Bestimmung der Leucht- 
dichteverteilung Var_A3 fur den Maskenbereich AREA3 in 
Schritt S47 nicht durchgefuhrt, und es folgt Schritt S48 in 
dem AbLauf. In Schritt S48 wird, wie oben erlautert, be- 65 
stimmt, ob die Differenz zwischen dem Maximalwert 
Max_Rate und dem Minimalwert Min_Rate der Rate, die 
das Verhaltnis des Oberflachenbereichs zwischen dem um- 



schriebenen Viereck und dem binaren Objekt innerhalb ei- 
ner bestimmten Zeitperiode angibt, niedriger ist als der 
Schwellenwert TH7 (in Schritt S48). 

[0127] Wenn andererseits in Schritt S44 die Breite AHb 
des binaren Objekts kleiner ist als der Schwellenwert TH1 
oder groBer als der Schwellenwert TH2 (d. h. "NETN" in 
Schritt S44) oder wenn in Schritt S45 die Hone AHb des bi- 
naren Objekts gleich oder groBer als der Schwellenwert 
TH3 ist oder wenn die Hone AHg des Grauwertobjekts 
gleich oder groBer als der Schwellenwert TH4 ist (d. h. 
"NEDST in Schritt S45) oder wenn in Schritt S45-1 die Hone 
AHb des binaren Objekts gleich oder groBer als der Schwel- 
lenwert TH3 ist (d. h. "NETN" in Schritt S45-1) oder wenn 
in Schritt S46 bestimmt wird, dass die Hohenposition Yt des 
oberen Endes des Objekts ausgehend von der Oberflache der 
StraBe gleich oder groBer als der Schwellenwert TH5 ist 
(d. h. "NEIN" in Schritt S46), wird bestimmt, dass das er- 
fasste Objekt kein FuBganger ist (in Schritt S49), und das 
FuBganger-Bestimmungsverfahren wird beendet. Dann 
fuhrt der Ablauf weiter zu Schritt S37 in dem in Fig. 5 dar- 
gestellten Flussdiagramm (iiber "NEENT in Schritt S34), urn 
zu bestimmen, dass das erfasste Objekt nicht ein Objekt ist, 
das die Ausgabe eines Alarms erfordert. 
[0128] Ahnlich wird, wenn in Schritt S47 die Leuchtdich- 
teverteilung in dem Maskenbereich AREA3 gleich oder gro- 
Ber als der Schwellenwert TH6 ist (d. h. M NEIN M in Schritt 
S47) oder wenn in Schritt S48 die Differenz zwischen dem 
Maximalwert Max_Rate und dem Minimalwert Min_Rate 
der Rate, die das Verhaltnis des Oberflachenbereichs zwi- 
schen dem umschriebenen Viereck und dem binaren Objekt 
innerhalb einer bestimmten Zeitperiode angibt, gleich oder 
groBer als der Schwellenwert TH7 ist (d. h. "NEIN" in 
Schritt S48), bestimmt, dass das erfasste Objekt (oder das in 
dem Bereich AREA0 eingefangene Objekt) kein FuBganger 
ist (in Schritt S49), und das FuBganger-Bestimmungsverfah- 
ren wird beendet. Dann fuhrt der Ablauf weiter zu Schritt 
S37 in dem in Fig. 5 dargestellten Russdiagramm (uber 
, 'NEI^^ , in Schritt S34), um zu bestimmen, dass das erfasste 
Objekt kein Objekt ist, bei dem ein Alarm ertonen muss. 
[0129] Wenn in Schritt S48 die Differenz zwischen dem 
Maximalwert Max_Rate und dem Minimalwert Min_Rate 
der Rate, die das Verhaltnis des Oberflachenbereichs zwi- 
schen dem umschriebenen Viereck und dem binaren Objekt 
innerhalb einer bestimmten Zeitperiode angibt, niedriger als 
der Schwellenwert TH7 ist (d. h. "JA" in Schritt S48), dann 
fuhrt die Bildverarbeitungseinheit 1 das FuBganger-Bestim- 
mungsverfahren fur die Form/Gestalt eines jeden extrahier- 
ten Objekts in weiterem Detail durch. 
[0130] Insbesondere wird bestimmt, ob die Hohenposition 
Yt des oberen Endes des Objekts ausgehend von der Ober- 
flache der StraBe den Schwellenwert TH8 iibersteigt (der ein 
geeigneter Wert fur die Hohenunterscheidung der oberen 
Halfte von der unteren Halfte des Korpers eines FuBgangers 
ist) (in Schritt S50). 

[0131] Wenn in Schritt S50 die Hohenposition Yt des obe- 
ren Endes des Objekts von der Oberflache der StraBe gleich 
oder kleiner ist als der Schwellenwert TH8 (d. h. "NEIN" in 
Schritt S51), fuhrt der Ablauf weiter zu dem in dem Fluss- 
diagramm von Fig. 9 gezeigten Schritt S51. In Schritt S51 
wird bestimmt, ob die Breite AWb des binaren Objekts 
gleich oder kleiner als der Schwellenwert TH9 ist (welcher 
ein passender Wert fur die Breite des Korpers eines FuBgan- 
gers ist), um zu bestimmen, ob es die untere Korperhalfte ei- 
nes FuBgangers ist oder ab es ein sitzender FuBganger ist. 
[0132] Fig. 9 ist ein Flussdiagramm, das das Verfahren fur 
die Unlerscheidung eines FuBgangers darstellt, dessen un- 
tere Korperhalfte durch das binare Verfahren extrahiert 
wurde, oder der sitzt. Wenn in Schritt S51 des Flussdia- 
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gramms die Breite AWb des binaren Objekts gleich oder 
kleiner als der Schwellenwert TH9 ist (d. h. "JA" in Schritt 
S51), wird bestimmt, ob es in der Umgebung des Fahrzeugs 
10 regnet oder nicht (in Schritt S51-1). 

[0133] Wenn in Schritt S51-1 bestimmt wird, dass das 5 
Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist 
(d. h. "KErN" in Schritt S51-1), wird bestimmt, ob die Hone 
AHg des Grauwertobjekts niedriger als der Schwellenwert 
TH10 ist, welcher ein fur die H6he/Gr6Be eines FuBgangers 
passender Wert ist, um zu bestimmen, ob das Objekt ein sit- 10 
zender FuBganger ist (in Schritt S52). 
[0134] Wenn in Schritt S52 die Hone AHg des Grauwert- 
objekts gleich oder groBer als der Schwellenwert TH10 ist 
(d. h. "NEIN" in Schritt S52), wird angenommen, dass das 
Objekt dem Korper oder der unteren Korperhalfte eines 15 
FuBgangers entspricht. Um dann zu bestimmen, ob bei dem 
obigen Objekt ein Kopfteil vorhanden ist, wird bestimmt, ob 
der mittlere Leuchtdichtewert Ave_Al des in Fig. 15 ge- 
zeigten Maskenbereichs AREA1 groBer als der Schwellen- 
wert TH11 ist (in Schritt S53). 20 
[0135] Wenn in Schritt S53 bestimmt wind, dass der mitt- 
lere Leuchtdichtewert Ave A 1 des Maskenbereichs AREA 1 
groBer als der Schwellenwert TH1 1 ist (d. h. "JA" in Schritt 

553) , wird bestimmt, ob die Leuchtdichteverteilung Var_A2 
des Maskenbereichs AREA2 groBer als der Schwellenwert 25 
TH18 ist, wobei angenommen wird, dass AREA2 ein 
Leuchtdichtemuster auf dem Grauwertbild hat, da der Kor- 
perteil Bereiche enthalt, die aufgrund der Wirkung von Klei- 
dung, die getragen wird, nicht ohne weiteres Warme ab- 
strahlen (in Schritt S53-1). 30 
[0136] Wenn in Schritt S53-1 die Leuchtdichteverteilung 
Var_A2 des Maskenbereichs AREA2 groBer als der Schwel- 
lenwert TH18 ist (d. h. "JA" in Schritt S53-1), wird be- 
stimmt, dass das erfasste Objekt 8 (oder das in dem Bereich 
AREA0 eingefangene Objekt) ein FuBganger ist (in Schritt 35 

554) , und das FuBganger-Bestimmungsverfahren wird be- 
endet. Dann fuhrt der Ablauf weiter zu Schritt S35 in Fig, 5 
(iiber "JA" in Schritt S34), um das Kunstgebilde-Bestim- 
mungsverfahren durchzufuhren. 

[0137] Wenn in Schritt S51-1 bestimmt wird, dass das 40 
Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h, 
"JA" in Schritt S51-1), werden die Bestimmungsverfahren 
von Schritt S52 bis S53-1 nicht durchgeruhrt. Dann fuhrt der 
Ablauf weiter zu Schritt S54, um zu bestimmen, dass das er- 
fasste Objekt ein FuBganger ist (in Schritt S54), und das 45 
FuBganger-Bestimmungsverfahren wird beendet. Danach 
fiihrt der Ablauf zu dem in Fig. 5 dargestellten Schritt S53 
(iiber "JA" in Schritt S34), um das Kunstgebilde-Bestim- 
mungsverfahren durchzufuhren. 

[0138] Wenn andererseits bestimmt wird, dass die Breite 50 
AWb des binaren Objekts groBer als der Schwellenwert TH9 
ist (d. h. "NEIN" in Schritt S51), oder wenn in Schritt S53 
der mittlere Leuchtdichtewert Ave_Al des Maskenbereichs 
AREA1 gleich oder groBer als der Schwellenwert 11 ist 
(d. h. "NEIN" in Schritt S53), oder wenn in Schritt S53-1 die 55 
Leuchtdichteverteilung Var_A2 der Maske AREA2 gleich 
oder kleiner als der Schwellenwert TH18 ist (d. h. "NEW 
in Schritt S53-1), wird bestimmt, dass das erfasste Objekt 
(oder das in dem Bereich AREA0 eingefangene Objekt) 
kein FuBganger ist (in Schritt S55), und das FuBganger Be- 60 
stimmungsverfahren wird beendet. Dann fuhrt der Ablauf 
weiter zu Schritt S37 in Fig. 5 (uber "NEIN" in Schritt S34), 
um zu bestimmen, dass das Objekt kein Objekt ist, welches 
die Ausgabe eines Alarms erfordert. 

[0139] Wenn in Schritt S52 bestimmt wird, dass die Hone 65 
AHg des Grauwertobjekts niedriger als der Schwellenwert 
TH10 ist (d. h. "JA" in Schritt S52), wird angenommen, dass 
das Objekt ein sitzender FuBganger ist, und es wird be- 
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stimmt, ob die Hohenposition Yt des oberen Endes des bina- 
ren Objekts ausgehend von der Oberflache der StraBe hoher 
ist als der Schwellenwert TH12, d. h. ein geeigneter Wert fur 
die Unterscheidung der Hone eines sitzenden FuBgangers 
von einem stehenden FuBganger (in Schritt S56). 
[0140] Wenn in Schritt S56 die Hohenposition Yt des obe- 
ren Endes des binaren Objekts ausgehend von der Oberfla- 
che der StraBe hoher ist als der Schwellenwert TH12 (d. h. 
"JA" in Schritt S56), wird bestimmt, ob Asp, wodurch das 
Seitenverhaltnis (d. h. das Verhaltnis von Lange zu Breite) 
des umschriebenen Vierecks fur das binare Objekt ausdriickt 
wird, gleich oder groBer als der Schwellenwert TH13 und 
gleich oder kleiner als der Schwellenwert TH14 ist (d. h. ein 
fur einen FuBganger passender Wert) in Schritt S57. 
[0141] Wenn in Schritt S57 der Wert von Asp, der das Sei- 
tenverhaltnis eines umschriebenen Vierecks fur das binare 
Objekt ausdriickt, gleich oder groBer als der Schwellenwert 
TH13 und gleich oder kleiner als der Schwellenwert TH14 
ist (d. h. "JA" in Schritt S57), wird bestimmt, ob die Distanz 
Dis_c zwischen dem Schwerpunkt bei dem umschriebenen 
Vereck 102 und dem Schwerpunkt G100 bei dem binaren 
Objekt im wirklichen Raum, was durch die folgende Glei- 
chung (9) ausgedriickt werden kann, geringer ist als der 
Schwellenwert TH15, d. h. ein fur einen FuBganger passen- 
der Wert (in Schritt S58). 

Dis_c = SQRT ((Xb - Xc) 2 + (Yb- Yc) 2 ) ... (9) 

[0142] Wenn in Schritt S58 die Distanz Dis_c geringer als 
der Schwellenwert TH15 ist (d. h. "JA" in Schritt S58), wird 
bestimmt, ob ein Teil, der eine hohe Korrelation mit den 
vorgegebenen Mustern eines Kopfteils zeigt, in dem Mas- 
kenbereich AREA1 des binaren Objekts vorhanden ist, da 
andere Objekte als FuBganger, wie zum Beispiel der Front- 
bereich eines Fahrzeugs, zum Beispiel in Objekten enthalten 
sein konnen, bei denen AWb 1,0 m oder weniger und AHg 
weniger als 1,0 m sind (in Schritt S59). 
[0143] Wenn in Schritt S59 ein Bereich mit einem hohen 
Korrelationsgrad mit vorregistrierten Mustern eines Kopf- 
teils in dem Maskenbereich AREA1 des binaren Objekts 
vorhanden ist (d. h. "JA" in Schritt S59), wird bestimmt, 
dass das erfasste Objekt (oder das in dem Bereich AREA0 
eingefangene Objekt) ein FuBganger ist (in Schritt S54), und 
das FuBganger-Bestimmungsverfahren wird beendet. Dann 
fuhrt der Ablauf weiter zu Schritt S35 in Fig. 5 (iiber "JA" in 
Schritt S34), um ein Kunstgebilde-Bestimmungsverfahren 
durchzufuhren. 

[0144] Wenn andererseits in Schritt S56 bestimmt wird, 
dass die Hohenposition Yt des oberen Endes des binaren 
Objekts ausgehend von der Oberflache der StraBe gleich 
oder niedriger als der Schwellenwert TH 12 ist (d. h. "NEIN" 
in Schritt 556), oder wenn in Schritt S57 der Wert von Asp, 
der das Seitenverhaltnis eines umschriebenen Vierecks fUr 
das binare Objekt ausdriickt, kleiner als der Schwellenwert 
TH13 oder groBer als der Schwellenwert TH14 ist (d. h. 
"NEIN" in Schritt S57) oder wenn in Schritt S58 die Distanz 
Dis_c gleich oder groBer als der Schwellenwert TH15 ist 
(d. h. "NEIN" in Schritt S58) oder wenn in Schritt S59 ein 
Bereich, deren einen hohen Grad einer Korrelation mit vor- 
registrierten Mustern eines Kopfteils zeigt, in dem Masken- 
bereich AREA1 des binaren Objekts nicht vorhanden ist 
(d. h. "NEIN" in Schritt S59), wird bestimmt, dass das er- 
fasste Objekt (oder das in dem Bereich AREA0 eingefan- 
gene Objekt) kein FuBganger ist (in Schritt S55), und das 
FuBganger-Bestimmungsverfahren wird beendet. Dann 
fiihrt der Ablauf weiter zu Schritt S37 in Fig. 5 (iiber 
"NEIN" in Schritt S34), und es wird bestimmt, dass das Ob- 
jekt kein Objekt ist, das eine Alarmausgabe erfordert. 
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[0145] Wenn in Schritt S50 in Fig. 9 bestimmt wird, dass 
die Hohenposition Yt des oberen Endes des Objekts ausge- 
hend von der Oberflache der StraBe hGher ist als ein Schwel- 
lenwert TH8, d. h. ein fiir die Hohenunterscheidung der obe- 
ren Halfte von der unteren Halfte des Korpers eines FuBgan- 5 
gers geeigneter Wert (d. h. n JA M in Schritt S50), ftihrt der 
Ablauf zu Schritt S50-1, der in Fig. 10 dargestellt ist, und es 
wird bestimmt, ob es in der Umgebung des Fahrzeugs 10 
regnet oder nicht (in Schritt S50-1). 

[0146] Wenn in Schritt S50-1 bestimmt wird, dass das 10 
Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist 
(d. h. "NEIN" in Schritt S50-1), wind bestimmt, ob die Hone 
AHg des Grauwertobjekts groBer als der Schwellenwert 
TH16 ist, weicher der gleiche Wert ist wie der oben ge- 
nannte Schwellenwert TH8, um in Schritt S60 zu bestim- 15 
men, ob das Objekt ein in der Luft anwesender Gegenstand 
ist (z. B. ein gewolbter Spiegel). 

[0147] Fig. 10 ist ein Flussdiagramm, das einen Ablauf 
fur die Unterscheidung eines FuBgangers zeigt, dessen 
Kopfteil oder obere Korperhalfte mit Hilfe des binaren 20 
Schwellenvergleichsverfahrens extrahiert wurden. Wenn in 
Schritt 60 die Hone AHg des Grauwertobjekts groBer als der 
Schwellenwert TH16 ist (d. h. "JA" in Schritt 860), wird be- 
stimmt, dass das Objekt kein in der Luft anwesender Gegen- 
stand ist. Dann wird bestimmt, ob ein Kopfteil im oberen 25 
Abschnitt in dem Objektbereich (d. h. in AREA0) vorhan- 
den ist oder ob ein Korperteil vorhanden ist. Insbesondere 
wird bestimmt, ob der mittlere Leuchtdichtewert Ave_Al 
des Maskenbereichs AREA1 groBer als der Schwellenwert 
TH17 ist, da der Kopfteil zur AuBenseite exponiert ist (in 30 
Schritt S61). 

[0148] Wenn in Schritt S61 bestimmt wird, dass der mitt- 
lere Leuchtdichtewert Ave_Al des Maskenbereichs AREA 1 
groBer als der Schwellenwert TH17 ist (d. h. "JA" in Schritt 

561) , wird bestimmt, ob die Leuchtdichteverteilung Var_A2 35 
des Maskenbereichs 2 groBer als der Schwellenwert TH18 
ist, in Anbetracht dessen, dass AREA2 ein Leuchtdichtemu- 
ster auf dem Grauwertbild hat, da der Korperteil Bereiche 
enthalt, die aufgrund der Wirkung von Kleidung, die getra- 
gen wird, nicht ohne weiteres Warme abstrahlt (in Schritt 40 

562) . 

[0149] Wenn in Schritt S62 bestimmt wird, dass die 
Leuchtdichteverteilung Var_A2 des Maskenbereichs 
AREA2 groBer als der Schwellenwert TH18 ist (d. h. "JA" 
in Schritt S62), wird bestimmt, ob die Breite AWb des bina- 45 
ren Objekts gleich oder kleiner als der Schwellenwert TH19 
ist, weicher ein geeigneter Wert fur die Breitenunterschei- 
dung eines Kopfteils oder einer oberen Korperhalfte eines 
FuBgangers ist, um zu bestimmen, ob es ein FuBganger ist, 
dessen Kopfteil oder obere Korperhalfte unter Anwendung 50 
des binaren Verfahrens extrahiert wurden (in Schritt S63). 
[0150] Wenn in Schritt S50-1 bestimmt wird, dass das 
Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. 
"JA" in Schritt S50-1), wird das Bestimmungsverfahren fur 
die Maskenbereiche von Schritt S60 bis S62 nicht durchge- 55 
fuhrt, und der Ablauf fuhrt weiter zu Schritt S63. In Schritt 
S63 wird, wie oben erwahnt, bestimmt, ob die Breite AWb 
des binaren Objekts gleich oder kleiner als der Schwellen- 
wert TH19 ist, weicher ein geeigneter Wert fiir die Breiten- 
unterscheidung eines Kopfteils oder einer oberen Korper- 60 
halfte eines FuBgangers ist, um zu bestimmen, ob es ein 
FuBganger ist, dessen Kopfteil oder obere Korperhalfte un- 
ter Anwendung des binaren Verfahrens extrahiert wurde (in 
Schritt S63). 

[0151] Wenn in Schritt S63 bestimmt wird, dass die Breite 65 
AWb des binaren Objekts groBer als der Schwellenwert 
TH19 ist (d. h. "NEIN" in Schritt S63), dann wird bestimmt, 
ob die Breite AWb des binaren Objekts gleich oder kleiner 
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als der Schwellenwert TH9 ist, weicher ein fur die Breite ei- 
nes Korpers eines FuBgangers passender Wert ist, um zu be- 
stimmen, ob es ein FuBganger ist, dessen Korper oder zu- 
mindest obere Korperhalfte durch das binare Verfahren ex- 
trahiert wurden (Schritt S64). 

[0152] Wenn in Schritt S64 die Breite AWb des binaren 
Objekts groBer als der Schwellenwert TH9 ist (d. h. "NEIN" 
in Schritt S64), wird dariiber hinaus bestimmt, ob die Breite 
AWb des binaren Objekts gleich oder kleiner als der 
Schwellenwert TH2 ist, weicher ein fur die Breite eines 
Korpers eines FuBgangers passender Wert ist, um zu bestim- 
men, ob sich eine Mehrzahl von FuBgangem parallel bewegt 
(in Schritt S65). 

[0153] Wenn ferner in den oben genannten Bestimmungs- 
verfahren in Schritt S60 die Hone AHg des Grauwerts gleich 
oder kleiner als der Schwellenwert TH16 ist (d. h. "NEIN" 
in Schritt S60) oder wenn in Schritt S61 bestimmt wird, dass 
der mittlere Leuchtdichtewert Ave_Al des Maskenbereichs 
AREA1 gleich oder kleiner als der Schwellenwert TH17 ist 
(d. h. "NEIN" in Schritt S61), oder wenn in Schritt S62 be- 
stimmt wird, dass die Leuchtdichteverteilung Var_A2 des 
Maskenbereichs AREA2 gleich oder kleiner als der Schwel- 
lenwert TH18 ist (d. h. "NEIN" in Schritt S62), oder wenn in 
Schritt S65 bestimmt wird, dass die Breite AWb des binaren 
Objekts groBer als der Schwellenwert TH2 ist (d. h. "NEIN" 
in Schritt S65), wird bestimmt, dass das erfasste Objekt 
(oder das in dem Bereich AREA0 eingefangene Objekt) 
kein FuBganger ist (in Schritt S66), und das FuBganger-Be- 
stimmungsverfahren wird beendet. Dann fuhrt der Ablauf 
(uber "NEIN" in Schritt S34) weiter zu Schritt S37, der in 
Fig. 5 dargestellt ist, und es wird bestimmt, dass das Objekt 
kein Objekt ist, das eine Alarmausgabe erfordert. 
[0154] Wenn dagegen in Schritt S63 bestimmt wird, dass 
die Breite AWb des binaren Objekts gleich oder kleiner als 
ein Schwellenwert TH19 ist (d. h. "JA" in Schritt S63), wird 
bestimmt, dass das Objekt ein FuBganger ist, dessen Kopf- 
teil oder obere Korperhalfte durch das binare Verfahren ex- 
trahiert wurden, und der Ablauf fuhrt in dem in Fig. 1 1 dar- 
gestellten Flussdiagramm weiter zu Schritt S67. In Schritt 
S67 wird bestimmt, ob der Wert von Asp, der das Seitenver- 
haltnis des umschriebenen Vierecks fur das binare Objekt 
angibt, gleich oder groBer als der Schwellenwert TH20 und 
gleich oder kleiner als der Schwellenwert TH21 ist, d. h. ein 
Wert, der fur einen Kopfteil oder die obere Halfte eines FuB- 
gangers passend ist. 

[0155] Fig. 1 1 ist ein Hussdiagramm, das einen Ablauf fur 
die Unterscheidung eines FuBgangers darstellt, dessen 
Kopfteil oder obere Korperhalfte unter Anwendung des bi- 
naren Verfahrens extrahiert wurden. Wenn in Schritt S67 der 
Wert von Asp, der das Seitenverhaltnis des umschriebenen 
Vierecks fiir das binare Objekt angibt, gleich oder groBer als 
der Schwellenwert TH20 und gleich oder kleiner als der 
Schwellenwert TH21 ist (d. h. "JA" in Schritt S67), wird be- 
stimmt ob die Distanz Dis_c zwischen dem Schwerpunkt 
bei dem oben genannten umschriebenen Viereck 102 und 
dem Schwerpunkt G100 bei dem binaren Objekt im wirkli- 
chen Raum geringer ist als der Schwellenwert TH15 (in 
Schritt S68). 

[0156] Wenn in Schritt S68 bestimmt wird, dass die Di- 
stanz Dis_c kleiner als der Schwellenwert TH15 ist (d. h. 
"JA" in Schritt S68), wird das erfasste Objekt (oder das in 
dem Bereich AREA0 eingefangene Objekt) als FuBganger 
betrachtet (in Schritt S69), und das FuBganger-Bestim- 
mungsverfahren wird beendet. Dann fuhrt der Ablauf (uber 
"JA" in Schritt S34) weiter zu dem in Fig. 5 dargestellten 
Schritt S35, um das Kunstgebilde-Bestimmungsverfahren 
durchzufuhren. 

[0157] Wenn dagegen der Wert von Asp, der das Seiten- 
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verhaltnis des umschriebenen Vierecks fur das binare Ob- 
jekt ausdruckt, kleiner als der Schwellenwert TH20 oder 
grSBer als der Schwellenwert TH21 ist (d. h. "NEXN" in 
Schritt S67) oder wenn in Schritt S68 bestimmt wind, dass 
die Distanz Dis_c gleich oder groBer als der Schwellenwert 
TH15 ist (d. h. "NEIN" in Schritt S68), wird das erfasste 
Objekt (oder das in dem Bereich AREAO eingefangene Ob- 
jekt) nicht als FuBganger betrachtet (in Schritt S70), und das 
FuBganger-Bestimmungsverfahren wird beendet. Dann 
fuhrt der Ablauf (tiber "NEIN" in Schritt S34) weiter zu dem 
in Fig. 5 dargestellten Schritt S37, und es wird bestimmt, 
dass das Objekt kein Objekt ist, das eine Alarmausgabe er- 
fordert. 

[0158] Wenn in Schritt S64 in Fig. 10 die Breite AWb des 
binaren Objekts gleich oder kleiner als der Schwellenwert 
TH9 in Schritt S64 ist (d. h. "JA" in Schritt S64), wird be- 
stimmt, dass das Objekt ein FuBganger ist, dessen Kopfbe- 
reich oder obere Korperhalfte durch das binare Verfahren 
extrahiert wurden, und der Ablauf fuhrt weiter zu Schritt 
S71 in dem in Fig. 12 gezeigten Hussdiagramm. In Schritt 
S7 1 wird bestimmt, ob der Wert von Asp, der das Seitenver- 
haltnis des umschriebenen Vierecks fur das binare Objekt 
ausdriickt, gleich oder groBer als der Schwellenwert TH13 
und gleich oder kleiner als der Schwellenwert TH21 ist, d. h. 
ob der Wert fur den gesamten Korper oder fiir die obere Kor- 
perhalfte eines FuBgangers passend ist. 
[0159] Fig. 12 ist ein Flussdiagramm, das den Ablauf fur 
die Unterscheidung eines FuBgangers zeigt, dessen Kopfteil 
oder obere Korperhalfte unter Anwendung des binaren Ver- 
fahrens extrahiert wurden. Wenn in Schritt S71 der Wert von 
Asp, der das Seitenverhaltnis des umschriebenen Vierecks 
fur das binare Objekt angibt, gleich oder groBer als der 
Schwellenwert TH13 und gleich oder groBer als der Schwel- 
lenwert TH21 ist (d. h. "JA" in Schritt S71), wird bestimmt, 
ob die Distanz Dis_c zwischen dem Schwerpunkt bei dem 
oben genannten umschriebenen Viereck 102 und dem 
Schwerpunkt G100 bei dem binaren Objekt im wirklichen 
Raum geringer ist als der Schwellenwert TH15 (in Schritt 
S72). 

[0160] Wenn in Schritt S72 bestimmt wird, dass die Di- 
stanz Dis_c geringer ist als der Schwellenwert TH15 (d. h, 
" JA" in Schritt S72), wird bestimmt, ob es in der Umgebung 
des Fahrzeugs 10 regnet oder nicht (in Schritt S72-1). 
[0161] Wenn in Schritt S72-1 bestimmt wird, dass das 
Wetter in der Umgebung des Fahrzeugs 10 kein Regen ist 
(d. h. "NEIN" in Schritt 72-1), wird bestimmt, ob ein Teil, 
der eine hohe Korrelation mit vorregistrierten Mustern eines 
Kopfteils zeigt, in dem Maskenbereich AREA1 des binaren 
Objekts vorhanden ist, da andere Objekte als FuBganger, 
zum Beispiel der Frontbereich eines Fahrzeugs, in den Ob- 
jekten enthalten sein konnen (in Schritt S73). 
[0162] Wenn in Schritt S73 ein Teil mit einem hohen Grad 
einer Korrelation mit vorregistrierten Mustern in dem Mas- 
kenbereich AREA1 des binaren Objekts vorhanden ist (d. h. 
"JA" in Schritt S73), wird das erfasste Objekt (oder das in 
dem Bereich AREAO eingefangene Objekt) als FuBganger 
betrachtet (in Schritt S74), und das FuBganger Bestim- 
mungsverfahren wird beendet. Dann fuhrt der Ablauf weiter 
zu Schritt S35 in Fig. 5 (uber "JA" in Schritt S34), urn das 
Kunstgebilde-Bestimmungsverfahren durchzufuhren. 
[0163] Wenn in Schritt S72-1 bestimmt wird, dass das 
Wetter in der Umgebung des Fahrzeugs 10 Regen ist (d. h. 
"JA" in Schritt S72-1), wird das Bestimmungsverfahren fur 
den Maskenbereich in Schritt S73 nicht durchgefuhrt. Dann 
fUhrt der Ablauf weiter zu Schritt S74, um zu bestimmen, 
dass das erfasste Objekt ein FuBganger ist (in Schritt S74), 
und das FuBganger-Bestimmungsverfahren wird beendet. 
Danach folgt in dem Ablauf der in Fig. 5 dargestellte Schritt 
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S35 (uber "JA" in Schritt S34), um das Kunstgebiide-Be- 
stimmungsverfahren durchzufuhren. 

[0164] Wenn andererseits bestimmt wird, dass der Wert 
von Asp, der das Seitenverhaltnis des umschriebenen Vier- 
5 ecks fur das binare Objekt angibt, kleiner als der Schwellen- 
wert TH13 oder groBer als der Schwellenwert TH21 ist 
(d. h. "NEIN" in Schritt S71), oder wenn in Schritt S72 be- 
stimmt wird, dass die Distanz Dis_c gleich oder groBer als 
der Schwellenwert TH15 ist (d. h. "NEIN" in Schritt S72) 
10 oder wenn in Schritt S73 ein Teil mit einem hohen Grad ei- 
ner Korrelation mit vorregistrierten Mustem eines Kopfteils 
in dem Maskenbereich AREA1 des binaren Objekts nicht 
vorhanden ist (d. h. "NEIN" in Schritt S73), wird bestimmt, 
dass das erfasste Objekt (oder das in dem Bereich AREAO 
15 eingefangene Objekt) kein FuBganger ist (in Schritt S74), 
und das FuBganger-Bestimmungsverfahren wird beendet. 
Dann fuhrt der Ablauf weiter zu Schritt S37 in Fig. 5 (uber 
"NEIN" in Schritt S34), um zu bestimmen, dass das Objekt 
kein Objekt ist, das die Ausgabe eines Alarms erfordert. 
20 [0165] Wenn in Schritt S65 des in Fig. 10 dargestellten 
Flussdiagramms bestimmt wird, dass die Breite AWb des bi- 
naren Objekts gleich oder kleiner als der Schwellenwert 
TH2 ist (d. h. "JA" in Schritt S65) wird in Betracht gezogen, 
dass ein groBer Hintergrundbereich in dem umschriebenen 
25 Viereck fur das Objekt enthalten ist, da das Objekt eine 
Mehrzahl von FuBgangem, die parallel gehen, enthalt. Der 
Ablauf fuhrt weiter zu Schritt S76 in Fig. 13, um zu bestim- 
men, ob der Wert von RATE, welcher das Verhaltnis des 
Oberfl achenbereichs des umschriebenen Vierecks zu jenem 
30 der binaren Abbildung innerhalb einer bestimmten Zeitperi- 
ode ist, kleiner als der Schwellenwert TH22 ist (in Schritt 
S76). 

[0166] Fig. 13 ist ein Flussdiagramm, das ein Verfahren 
fur den Fall zeigt, in dem das Objekt mehrere FuBganger 
35 sind, die parallel gehen. Wenn in Schritt S76 bestimmt wird, 
dass der Wert von RATE, welcher das Verhaltnis des Ober- 
flachenbereichs des umschriebenen Vierecks zu jenem der 
binaren Abbildung innerhalb einer bestimmten Zeitperiode 
ist, kleiner als der Schwellenwert TH22 ist (d. h. "JA" in 
40 Schritt S76), wird bestimmt, dass der Wert von Asp, der das 
Seitenverhaltnis des umschriebenen Verecks fur das binare 
Objekt angibt, gleich oder groBer als der Schwellenwert 
TH23 und gleich oder kleiner als der Schwellenwert TH14 
ist, d. h. der fur die Bestimmung von FuBgangern, die paral- 
45 lei gehen, geeignete Wert (in Schritt S77). 

[0167] Wenn der Wert von Asp in Schritt S77, der das Sei- 
tenverhaltnis des umschriebenen Vierecks fur das binare 
Objekt angibt, gleich oder groBer als der Schwellenwert 
TH23 und gleich oder kleiner als der Schwellenwert TH14 
50 ist (d. h. "JA" in Schritt S77), wird bestimmt, ob die Distanz 
Dis_c zwischen dem Schwerpunkt bei dem vorgenannten 
umschriebenen Viereck 102 und dem Schwerpunkt G100 
bei dem binaren Objekt im wirklichen Raum geringer ist als 
der Schwellenwert TH15 (in Schritt S78). 
55 [0168] Wenn in Schritt S78 bestimmt wird, dass die Di- 
stanz Dis_c geringer ist als der Schwellenwert TH15 (d. h. 
"JA" in Schritt S78), wird bestimmt, dass das erfasste Ob- 
jekt (oder das in dem Bereich AREAO eingefangene Objekt) 
ein FuBganger ist (in Schritt S79), und das FuBganger-Be- 
60 stimmungsverfahren wird beendet. Dann fuhrt der Ablauf 
weiter zu dem in Fig. 5 gezeigten Schritt S35 (iiber "JA" in 
Schritt S34), um das Kunstgebilde- Bestimmungsverfahren 
durchzufuhren. 

[0169] Wenn dagegen in Schritt S76 bestimmt wird, dass 
65 der Wert von RATE, der das Verhaltnis des Oberflachenbe- 
reichs des umschriebenen Vierecks zu jenem der binaren 
Abbildung innerhalb einer bestimmten Zeitperiode ist, 
gleich oder groBer als der Schwellenwert TH22 in Schritt 
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576 ist (d. h. "NEIN" in Schritt S76), oder wenn in Schritt 

577 bestimmt wird, dass der Wert von Asp, der das Seiten- 
verhaltnis des umschriebenen Vierecks fur das binare Ob- 
jekt angibt, kleiner ist als der Schwellenwert TH23 oder gro- 
Ber als der Schwellenwert TH14 (d. h. "NEIN" in Schritt 
S77) oder wenn in Schritt S78 bestimmt wird, dass die Di- 
stanz Dis_c gleich oder groBer als der Schwellenwert TH15 
ist (d. h. "NEIN" in Schritt S78), wird das erfasste Objekt 
(oder das in dem Bereich AREAO eingefangene Objekt) 
nicht als ein FuBganger betrachtet (in Schritt S80), und das 
FuBganger-Bestimmungsverfahren wird beendet. Dann 
fiihrt der Ablauf weiter zu dem in Fig. 5 gezeigten Schritt 
S37 (uber , 'NEIN ,, in Schritt S34), urn zu bestimmen, dass 
das Objekt kein Objekt ist, das eine Alarmausgabe erfordert. 
[0170] Es ist zu beachten, dass in dieser Ausfuhrungsform 
der vorliegenden Erfindung die Bildverarbeitungseinheit 1 
eine Wetter-Erfassungseinheit, eine Objekt-Extraktionsein- 
heit, eine Extraktionseinheit fur warmehaltende Objekte, 
eine FuBganger Erkennungseinheit und eine Form/Gestalt- 
Bestimmungseinheit umfasst. 

[0171] Insbesondere entspricht der in Fig. 8 gezeigte 
Schritt S41-1 der Wetter-Erf assungseinheit, die Schritte 
Sl-S 13 in Fig. 3 entsprechen der Objekt-Extraktionseinheit, 
und die Schritte S45, S46 und S47 in Fig. 8, die Schritte 
S52, S53 und S53-1 in Fig. 9 und die Sehritte S60, S61 und 
S62 in Fig. 10 entsprechen der Extraktionseinheit fur war- 
mehaltende Objekte. 

[0172] Die Schritte S48 und S49 in Fig. 8, die Schritte S50 
und S54-S59 in Fig. 9, die Schritte S63-S66 in Fig. 10, die 
Schritte S67-S70 in Fig. 11, die Schritte S71-S75 in Fig. 12 
und die Schritte S76-S80 in Fig. 13 entsprechen der FuB- 
ganger-Erkennungseinheit. Insbesondere entsprechen 
Schritt S59 in Fig. 9 und Schritt S73 in Fig. 12 der Form/Ge- 
stalt-Bestimmungseinheit. 

[0173] Wie vorstehend erlautert wurde, extrahiert die Vor- 
richtung zur Beobachtung der Umgebung des Fahrzeugs ge- 
maB der AusfUhrungsform der vorliegenden Erfindung nach 
dem Extrahieren eines Objekts wie beispielsweise eines 
FuBgangers unter Anwendung des binaren Schwellenver- 
gleichsverfahrens aus einem Grauwertbild eines durch eine 
Infrarotkamera aufgenommenen Bildes ein Grauwertobjekt, 
welches das binare Objekt aus dem Grauwertbild enthalt, 
auf der Basis einer Leuchtdichteanderung des Grauwertbil- 
des und stellt des weiteren eine Mehrzahl von Suchberei- 
chen in den Bereichen des Grauwertobjekts ein, um auf der 
Basis der Form/Gestalt oder der Leuchtdichteverteilung in 
den Suchbereichen einen FuBganger in den Suchbereichen 
zu erkennen. 

[0174] Wenn bestimmt wird, dass es in der Umgebung des 
Fahrzeugs 10 regnet, werden lediglich die Bedingungen fur 
die Gegenwart des binaren Objekts bestimmt, und FuBgan- 
ger auf dem binaren Bild werden auf der Basis der Hone 
oder der GroBe des binaren Objekts auf dem binaren Bild er- 
kannt 

[0175] Wenn bestimmt wird, dass es in der Umgebung des 
Fahrzeugs 10 nicht regnet, werden auf diese Weise Objekte, 
die auf der Basis der Breite oder der Hone des Objekts auf 
dem Bild wahrscheinlich kein FuBganger sind, aus den Ziel- 
objekten auf dem Bild entfemt. Auch wird bestimmt, ob die 
restlichen Objekte charakteristisch fur einen FuBganger ei- 
nen Bereich auf aufweisen, der einem Kopfteil entspricht, 
bei dem die Leuchtdichteverteilung hoch ist, und einen Be- 
reich, der einem Korperteil entspricht, bei dem die Leucht- 
dichteverteilung relativ hoch ist. Dariiber hinaus wird be- 
stimmt, ob das Objekt nicht ein Objekt mit einer relativ 
schwachen Leuchtdichteverteilung ist, wie zum Beispiel 
eine Wand. Dann werden Abbildungen von Objekten, deren 
Leuchtdichteverteilung sich von jener bei einem FuBganger 



unterscheidet, aus dem Bild entfemt, um die Genauigkeit 
bei der Erfassung von FuBgangem zu verbessem. 
[0176] AuBerdem wird, wenn bestimmt wird, dass es in 
der Umgebung des Fahrzeugs 10 regnet, das Bestimmungs- 
verfahren auf der Basis der Leuchtdichteverteilung nicht 
durchgefuhrt, da der Betrag der von den Objekten ausge- 
sandten Infrarotstrahlen verringert wird, und es wird ledig- 
lich ein Verfahren durchgefuhrt, in dem Objekte, die ange- 
sichts der Breite und der Hone des Objekts auf dem Bild 
wahrscheinlich keine FuBganger sind, aus den Zielobjekten 
auf dem Bild entfemt werden. Demzufolge konnen auf der 
Leuchtdichteverteilung basierende Fehler bei der Erfassung 
eines FuBgangers vermieden werden, und erfindungsgemaB 
kann die Genauigkeit bei der Erfassung eines FuBgangers 
beibehalten werden. 

[0177] Vorstehend wurden Ausfuhrungsbeispiele der vor- 
liegenden Erfindung beschrieben. Fur den Fachmann ist es 
jedoch offensichtlich, dass verschiedene Anderungen, Mo- 
difikationen und Verbesserungen moglich sind, die, wenn- 
gleich sie vorstehend nicht ausdriicklich beschrieben sind, 
dennoch beabsichtigt und impliziert sind, ohne vom Kem 
der Erfindung abzuweichen oder den Rahmen der Erfindung 
zu verlassen. Demzufolge dient die vorstehende Beschrei- 
bung lediglich zum Zweck der Darstellung, und die Erfin- 
dung ist allein durch die folgenden Anspriiche und ihre 
Aquivalente begrenzt und definiert. 

[0178] Eine Vorrichtung zur Beobachtung der Umgebung 
eines Fahrzeugs, die in der Lage ist, in der Umgebung des 
Fahrzeugs anwesende Objekte auf der Basis eines Bildes zu 
erfassen, das von zumindest einem an dem Fahrzeug vorge- 
sehenen Infrarotkameraelement aufgenommen wird. Die 
Vorrichtung umfasst eine binare Objekt-Extraktionseinheit, 
die ein Grauwertbild des von dem Infrarotkameraelement 
aufgenommenen Bildes einem binaren Schwellenver- 
gleichs verfahren unterzieht und ein bin ares Objekt aus dem 
Grauwertbild extrahiert; eine Grauwertobjekt-Extraktions- 
einheit, die ein Grauwertobjekt, wovon ein Bereich das bi- 
nare Objekt enthalt, auf der Basis einer Leuchtdichteande- 
rung des Grauwertbildes aus dem Grauwertbild extrahiert; 
und eine FuBganger-Bestimmungseinheit, die einen Suchbe- 
reich in einem Bereich einstellt, der das Grauwertobjekt ent- 
halt, und auf der Basis einer Leuchtdichteverteilung in dem 
Suchbereich einen FuBganger auf dem Grauwertbild er- 
kennt. 

Patentanspruche 

1. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs, die in der Lage ist, in der Umgebung des 
Fahrzeugs anwesende Objekte auf der Basis eines Bil- 
des, das durch zumindest ein an dem Fahrzeug vorge- 
sehenes Infrarotkameraelement aufgenommen wird, zu 
erfassen, wobei die Vorrichtung umfasst: 

eine Binarobjekt-Extraktionseinheit, die ein Grauwert- 
bild des durch das Infrarotkameraelement aufgenom- 
menen Bildes einem binaren Schwellenvergleichs ver- 
fahren unterzieht und ein binares Objekt aus dem Grau- 
wertbild extrahiert; 

eine Grauwertobjekt-Extraktionseinheit, die ein Grau- 
wertobjekt, wovon ein Bereich das binare Objekt ent- 
halt, auf der Basis einer Leuchtdichteanderung des 
Grauwertbildes aus dem Grauwertbild extrahiert; und 
eine FuBganger-Bestimmungseinheit, die in einem das 
Grauwertobjekt enthaltenden Bereich einen Suchbe- 
reich einstellt und auf der Basis einer Leuchtdichtever- 
teilung in dem Suchbereich einen FuBganger auf dem 
Grauwertbild erkennt 

2. Vorrichtung zur Beobachtung der Umgebung eines 
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Fahrzeugs nach Anspruch 1, wobei die FuBganger-Be- 
stimmungseinheit den Suchbereich in der Weise ein- 
stellt, dass eine GroBe in einer transversalen Richtung 
des Suchbereichs mit einer Breite des binaren Objekts 
ubereinstirnml und dass eine GroBe in einer Langsrich- 5 
tung des Suchbereichs mit einer Hone des binaren Ob- 
jekts ubereinstimmt. 

3. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs nach Anspruch 1, wobei die FuBganger-Be- 
stimmungseinheit als den Suchbereich einen Kopfleil- 10 
bereich, dessen GroBe einer GroBe eines Kopfteils ei- 
nes FuBgangers entspricht, auf der Basis eines oberen 
Endes des Grauwertobjekts einstellt. 

4. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs nach Anspruch 1, wobei die FuBganger-Be- 15 
stimmungseinheit als den Suchbereich einen Kopfteil- 
bereich, dessen GroBe einer GroBe eines Kopfteils ei- 
nes FuBgangers entspricht, auf der Basis eines oberen 
Endes des Grauwertobjekts und einen Korperteilbe- 
reich, dessen GroBe einem Korperteil eines FuBgangers 20 
entspricht und der groBer ist als der Kopfteilbereich, 
unter dem Kopfteilbereich einstellt. 

5. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs nach Anspruch 1, wobei die Vorrichtung als 
Nachtsichtvorrichtung verwendet wird. 25 

6. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs, die in der Lage ist, in der Umgebung des 
Fahrzeugs anwesende Objekte auf der Basis eines In- 
frarotbildes, das durch zumindest ein an dem Fahrzeug 
vorgesehenes Infrarotkameraelement aufgenommen 30 
wird, zu erfassen, wobei die Vorrichtung umfasst: 

eine Objekt-Extraktionseinheit, die Objekte, welche 
Infrarotstrahlen abgeben, aus dem Infrarotbild extra- 
hiert; 

eine Einheit zum Extrahieren von warmehaltenden Ob- 35 
jekten, die warmehaltende Objekte, welche nicht selbst 
Warme erzeugen, sondern von auBen aufgebrachte 
Warme h alien, aus den durch die Objekt-Extraktions- 
einheit extrahierten Objekten extrahiert; und 
eine FuBganger-Erkennungseinheit, die einen FuBgan- 40 
ger aus den durch die Objekt-Extraktionseinheit extra- 
hierten Objekten erkennt, indem sie die durch Einheit 
zum Extrahieren von warmehaltenden Objekten extra- 
hierten warmehaltenden Objekte ausschlieBt. 

7. Vorrichtung zur Beobachtung der Umgebung eines 45 
Fahrzeugs, die in der Lage ist, in der Umgebung des 
Fahrzeugs anwesende Objekte auf der Basis eines In- 
frarotbildes, das durch zumindest ein an dem Fahrzeug 
vorgesehenes Infrarotkameraelement aufgenommen 
wird, zu erfassen, wobei die Vorrichtung umfasst: 50 
eine Wetter-Erfassungseinheit, die das Wetter in der 
Fahrzeugumgebung erfasst; 

eine Objekt-Extraktionseinheit, die Objekte, welche 
Infrarotstrahlen abgeben, aus dem Infrarotbild extra- 
hiert; 55 
eine Einheit zum Extrahieren von warmehaltenden Ob- 
jekten, die warmehaltende Objekte, welche nicht selbst 
Warme erzeugen, sondern von auBen aufgebrachte 
Warme halten, aus den durch die Objekt-Extraktions- 
einheit extrahierten Objekten extrahiert; und 60 
eine FuBganger-Erkennungseinheit, die einen FuBgan- 
ger aus den durch die Objekt-Extraktionseinheit extra- 
hierten Objekten erkennt, wenn durch die Wetter-Er- 
fassungseinheit bestimmt wird, dass das Wetter in der 
Umgebung des Fahrzeugs Regen ist, wobei, wenn 65 
durch die Wetter-Erfassungseinheit bestimmt wird, 
dass das Wetter in der Umgebung des Fahrzeugs kein 
Regen ist, die FuBganger Erkennungseinheit einen 
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FuBganger aus den durch die Objekt-Extraktionsein- 
heit extrahierten Objekten erkennt, indem sie durch die 
Einheit zum Extrahieren von warmehaltenden Objek- 
ten extrahierte warmehaltende Objekte ausschlieBt. 
8. Vorrichtung zur Beobachtung der Umgebung eines 
Fahrzeugs nach Anspruch 7, femer umfassend: 
eine Form/Gestalt-Erfassungseinheit, die eine Form/ 
Gestalt der Objekte bestimmt, wobei die Form/Gestalt- 
Erfassungseinheit deaktiviert wird, wenn durch die 
Wetter-Erfassungseinheit bestimmt wird, dass das Wet- 
ter in der Umgebung des Fahrzeugs Regen ist. 
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